让我们一步一步分解它:
- 网址
- 爬行
- 处理和渲染
- 索引
边注。
下面的过程专门适用于 Google,但它可能与 Bing 等其他网络搜索引擎非常相似。还有其他类型的搜索引擎,例如 Amazon、YouTube 和 Wikipedia,它们仅显示来自其网站的结果。
步骤 1. URL
一切都从一个已知的 URL 列表开始。谷歌通过各种过程发现这些,但最常见的三个是:
从反向链接
谷歌已经有一个包含数万亿网页的索引。如果有人从这些网页之一添加到您的某个网页的链接,他们可以从那里找到它。
您可以使用带有Ahrefs 网站管理员工具的网站浏览器免费查看您网站的反向链接。
- 注册一个免费的 Ahrefs 网站管理员工具帐户
- 将您的域粘贴到站点资源管理器中
- 转到反向链接 报告。
我们的爬虫是仅次于谷歌的第二活跃的爬虫,所以你应该在这里看到一个相当完整的反向链接视图。
从站点地图
站点地图列出了您网站上的所有重要页面。如果您将站点地图提交给 Google,可能会帮助他们更快地发现您的网站。
从URL提交
Google 还允许通过 Google Search Console 提交单个 URL。
步骤 2. 爬行
爬行是被称为蜘蛛的计算机机器人(例如Googlebot)访问和下载发现的页面的地方。
需要注意的是,Google 并不总是按照他们发现页面的顺序来抓取页面。
Google 会根据以下几个因素对网址进行排队以供抓取:
- URL的 PageRank
- URL多久更改一次
- 不管是不是新的
这很重要,因为这意味着搜索引擎可能会先抓取您的某些页面并将其编入索引。如果您有一个大型网站,搜索引擎可能需要一段时间才能完全抓取它。
步骤 3. 处理
处理是谷歌从抓取的页面中理解和提取关键信息的地方。谷歌之外没有人知道这个过程的每一个细节,但我们理解的重要部分是提取链接和存储内容以进行索引。
Google 必须渲染页面以完全处理它们,这是 Google 运行页面代码以了解它如何查找用户的地方。
也就是说,在渲染之前和之后会发生一些处理——如您在图中所见。
步骤 4. 索引
索引是将来自抓取页面的已处理信息添加到称为搜索索引的大型数据库中。这本质上是一个包含数万亿个网页的数字图书馆,Google 的搜索结果来自这些网页。
这是很重要的一点。当您在搜索引擎中键入查询时,您并不是直接在 Internet 上搜索匹配结果。您正在搜索搜索引擎的网页索引。如果网页不在搜索索引中,搜索引擎用户将找不到它。这就是让您的网站在 Google 和 Bing 等主要搜索引擎中编入索引如此重要的原因。
第3章
搜索引擎如何对页面进行排名
发现、抓取和索引内容只是难题的第一部分。当用户执行搜索时,搜索引擎还需要一种对匹配结果进行排名的方法。这是搜索引擎算法的工作。
每个搜索引擎都有独特的网页排名算法。但由于 Google 是迄今为止使用最广泛的搜索引擎(至少在西方世界),因此我们将在本指南的其余部分重点关注这一点。
众所周知,谷歌拥有 200 多个排名因素。
没有人知道所有这些排名因素是什么,但我们知道关键因素。
让我们讨论其中的几个。
- 反向链接
- 关联
- 新鲜
- 话题权威
- 页面速度
- 移动友好
反向链接
反向链接是谷歌最重要的排名因素之一。
谷歌搜索质量高级策略师 Andrey Lipattsev 在 2016 年的一次在线网络研讨会上证实了这一点。当被问及两个最重要的排名因素时,他的回答很简单:内容和链接。
绝对地。我可以告诉你它们[前两个排名因素]是什么。它是内容。它是指向您网站的链接。
自 1997 年 Google 推出 PageRank 以来,链接一直是 Google 的重要排名因素,PageRank 是一种根据指向网页的反向链接的数量和质量来判断网页价值的公式。
当我们分析超过 10 亿个页面时,我们发现链接到一个页面的网站数量与其从 Google 获得的自然流量之间存在明显的相关性。
然而,这并不是关于数量的全部,因为并非所有的反向链接都是平等的。具有少量高质量反向链接的页面完全有可能超过具有大量低质量反向链接的页面。
一个好的反向链接有六个关键属性。
让我们仔细看看可以说是最重要的两个:权威和相关性。
链接权限
来自权威页面和网站的反向链接通常对排名影响最大。
你如何定义权威?在SEO的背景下,权威页面和网站是那些有很多反向链接或“投票”的页面。