上一章我们说了如何优化我们的网站结构，包括TDK如何操作，H1标签不要滥用等，如何进行关键词挖掘，如何使用工具帮我们事半功倍的做站内优化，导航的优化技巧还有内容应该怎么写比较符合蜘蛛的胃口。完整内容请戳 如何让搜索引擎爱上我们的网站
SEO工作很大比重在站内，只有站内做的好，关键词分配合理，结构足够合理，才能尽可能的让搜索引擎多爬取我们的内容；收录的页面越多，用户找到我们的机会越大。
如何让我们的网站结构足够合理呢？除了上篇讲的几点以外，还有以下几个方面。接下来我会按照我们从建站到运营这个顺序逐个展开。
▌robots
这是网站和搜索引擎的一个协议，robots会直接告诉搜索引擎，我是不是欢迎你过来，也是我们给搜索引擎的一把钥匙。
robots必须要优先放到网站根目录的。爬虫进入我们网站时，首先会寻找的就是这个文件，当这个文件存在时，会按照这个文件里指定的范围进行爬取，如果禁止所有蜘蛛爬取行为，它会直接走掉不在抓取。
所以我们利用这个robots特性，可以将我们不想公布出去的目录结构进行隐藏，比如后台管理等敏感目录。当然也可以利用这个特性进行导流，让搜索引擎不必把精力浪费在无用的目录或者页面上，只抓取我们想让让它抓取的页面。
▌面包屑导航设计，小功能大作用
这是很容易被忽视的一个技巧，尤其是新手站长，我们普遍认为，导航上面有首页或者logo了，为什么要多这一行文字？面包屑导航有以下几个作用：
1、标识位置，方便访问
面包屑除了可以告诉我们用户当前所处位置以外。还可以让用户返回上一级目录，同时蜘蛛很喜欢面包屑导航，因为蜘蛛在爬取文章时，可以很方便的返回上一级目录，进入父级目录继续抓取。
2、增加内链关键词
我们还可以利用这个功能，给我们父级目录做关键词指定，我们的目录关键词一般有2-3个，网站导航只能给这个目录一个关键词指向，我们通过不同的子页面给父级目录做第二个关键词指向时，相当于增加了一个内链。
3、王牌辅助，不可夺主
面包屑导航是一个辅助功能，它可以告诉用户当前所在的位置，但是不能完全代替主导航。
4、层级关系而非浏览历史
面包屑导航应该表达的是层级关系，而不是浏览历史，我看到很多网站采用动态生成的面包屑，主要就是记录用户的浏览记录，这是错误的做法，用户浏览的多了，这里会非常复杂，逻辑也不清晰。
面包屑可以告诉用户，当前处于哪一层级，父级是谁，这样用户的思路很清晰，如果对当前栏目其它内容比较感兴趣，很方便就可以进入其他页面。
面包屑 导航最后一个层级不要放置链接地址，因为当前页面本来就处于这个地址，放链接是无意义的。
5、分隔符清晰
分隔符清晰，看起来逻辑很清晰，比较常用的做法是右尖括号，比如上面Apple官网的设计，还有用斜杠 “/”，或者空格。这样能够清晰的表达是递减的关系。
6、最后一个层级可以作为标题存在
比如方舟博客，切换栏目时，头部的文字不变的，但是栏目地址却变了，我们就将最后一层改为H1标签，告诉搜索引擎，这个页面的标题是这个。
▌图片应用，让不可能变成可能
搜索引擎无法解析图片的编码，所以搜索引擎看待图片就是一片空白，他不知道这个图片里是什么内容；现在图片的识别技术在提升，相信有一天会实现图片内容的识别。
鉴于此，我们在做网站开发时需要注意以下几个点：
网站避免大范围图片应用；
图片多，体积大，影响页面加载速度，所以我们应该在上传之前，将图片进行无损压缩，保证图片清晰度的情况，让它变得足够小。推荐一个小工具：https://tinypng.com/ ；
图片增加alt 标签，alt标签是可被搜索引擎读取的，在这里放置图片表达的主题，让搜索引擎明白这个图片是做什么的。
▌sitemap，给蜘蛛一个地图
蜘蛛按照链接地址进行爬取页面的，但是每个网站的权重不一样，蜘蛛在这个网站抓取页面的深度和停留时间就不一样，这就会导致有些页面层级较深，没有被蜘蛛抓取到。我们需要一个办法，直接告诉蜘蛛我的页面在哪里，地址是什么？
这就是sitemap，我们将我们网页的地址放到这个文件，让搜索引擎蜘蛛更好的抓取我们的页面。
这个文件可以告诉搜索引擎，哪些页面重要，哪些次要，应该重点抓取哪些，哪些更新频率高等等，sitemap的格式目前有三个，txt格式、XML格式和sitemap索引格式。
txt格式适合小网站，链接不多，可以将连接地址一行一条放上去。
XML格式适合中小网站，里面主要放标题和链接地址。也是大家用的最多的格式。但是由于文件大小限制和考虑到蜘蛛爬取的顺畅度，如果文章太多，会导致文件过大。
这里我们就需要用sitemap索引的形式来进行文件切分，将一个大的sitemap分为多个小的，然后主sitemap里面放子sitemap文件的地址。
如何正确的使用sitemap网站地图？
文件里的网址条数不要超过5万条，文件大小不要超过10M，这么做可以保证我们的文件更好的被爬虫爬取，不给它造成抓取压力；
保持更新频率，爬虫在爬取sitemap时有间歇性，那么我们应该在它下次过来之前，保证我们的sitemap里面有我们的新内容；
动态更新sitemap，研发一个功能，实现每当更新文章时，同时向sitemap里新增一条网址记录，这样保证sitemap里面的数据是最新的。
▌内链，让蜘蛛尽情的爬行
影响关键词排名除了内容很好以外，还有就是链接指向。
打个比方，我们知道长沙有臭豆腐，而做这个臭豆腐的有很多家，如何实现提到臭豆腐就想到一个品牌呢？当所有人都说一家臭豆腐好吃的时候，久而久之，想到臭豆腐就想到这家；链接也是同样的道理，当有很多词指向你，就可以排名更靠前。
链接指向有站内链接，我们称为内链，站外链接，为外链。
内链，就是我们站内的关键词指向。比如易观方舟官网，我们将所有的用户行为这个词，都指向了产品介绍里的用户行为分析这个页面。当爬虫来到我们网站时，当看到这么多链接都指向一个页面时，那么这个词就是这个页面的目标关键词，当用户在搜索引擎搜索这个词时，会优先展示这个页面。
内链是我们做SEO比较重要的注意方向，因为外链资源有很多的不确定性，质量也参差不齐，而内链是完全由我们自己主导的。
每个页面都有一个目标关键词，当A页面出现B页面的目标关键词时，应该将这个词指向到B页面上。一个页面最多放5个内链，因为我们要考虑用户体验，一个页面全都是链接，会让访客以为这个是广告站，因为我们为了凸显这个关键词会加粗或者变色，这样的关键词太多，让人很反感，所以要注意内链词的密度问题，经过实测5%是建议内链密度。
如何收集内链关键词呢？我们通过方舟渠道分析来挖掘近期的关键词分布，将这些词收集起来作为我们的页面关键词。方舟比百度统计的关键词收集更有价值，我们可以看到这个词是哪个搜索引擎过来的，跳出率怎样，留存情况如何等等，也可以针对这批用户进行下钻分析，了解这些用户接下来做了什么，为何流失。
