SEO 新手必读：2022 年，搜索引擎工作原理大揭秘！
搜索引擎是如何工作的？SEO 小也在开头提到，搜索引擎要为用户提供网站信息，需要完成三个主要任务：爬取网站（Crawing）、创建索引（Indexing）、建立排名（Ranking）。当然，其中的技术实现非常复杂，作为一名 SEO 新人，可能暂时不需要深入研究这些问题。SEO 小也在大学毕业时的毕业设计就是搜索引擎，当时使用的是第三方的索引分词库，我们大部分时间只需要配置规则，更深入的内容我会另写几篇文章来分享。
搜索引擎抓取（Crawing）：搜索引擎要将相关内容展示给用户，第一步是派出它的小弟——搜索引擎爬虫（蜘蛛），它们会不断抓取互联网上的新内容或更新数据库中的旧内容。内容形式多种多样，可能是网页、PDF 文件、MP3 音频文件等，但它们都是通过 URL 来找到这些内容的。搜索引擎最初会有一些种子 URL，这些 URL 通常是质量较高的链接地址，蜘蛛会顺着这些地址不断抓取，在这个过程中，新发现的链接会被作为新一轮爬取任务的种子 URL，直到没有新的链接可爬取。
搜索引擎索引（Indexing）：建立索引是一个复杂的过程，涉及算法、地理环境、社会学研究等多个因素。搜索引擎会根据许多参数来控制这些内容的分类，但最重要的是内容的相关性，相关性越高，被分到同一分类的可能性就越大。建立索引是为了后期能快速展现给用户，也是为排名提供数据基础。
搜索引擎排名（Ranking）：用户在搜索引擎输入框输入关键词后，搜索引擎会在其庞大的索引数据库中快速找到相关内容，并根据内容的相关性和其他参数对内容进行排序。这个过程就是搜索引擎排名，排名靠前的内容通常是搜索引擎认为与用户问题相关性最高的回答。如果我们不想让搜索引擎展示某些内容，也是可以做到的，但大多数情况下我们不会这样做。搜索引擎优化的目的是让用户看到我们，并让搜索引擎优先展示我们想给用户看的内容。
搜索引擎能找到你吗？如前所述，如果要让自己的网站出现在 SERPs 中，前提是网站要被搜索引擎蜘蛛爬取和索引。如果你已经有了网站，可以使用 site 命令查看网站的收录情况。以 SEO 小也为例，在谷歌搜索框中输入 site:www.seozen.top，你可以看到类似以下的结果：可以看到 SEO 小也的网站已经有 135 个网页被谷歌收录，这个结果经常会变动，只能看到一个大概的数据，不是特别精准，还有很多没有显示的网页。如果想查看更精准的结果，可以使用 Google Search Console 在收录功能中查看，这相当于我们的百度站长平台，但 SEO 小也个人认为它比百度站长平台的作用更大，所以我一般只看 GSC 的数据，很少去看百度站长平台的数据，以后也会专门写几篇文章来介绍。如果使用 site 命令找不到网站的收录，可能是以下原因：网站是新站，搜索引擎还没有收录。网站没有外部导入链接，可以到一些平台发布一些外链。网站目录结构太深，太复杂，导致搜索引擎爬虫抓取效率低下。网站可能包含一些阻止搜索引擎爬虫的代码，如 noindex，nofollow。网站可能被搜索引擎处罚，因为存在作弊或垃圾广告等行为。
我们有时过于关注如何让搜索引擎抓取内容，而忽略了如何不让搜索引擎抓取一些内容，例如重复页面、搜索参数以及公司的联系方式、留言等。这些内容被收录的意义不大，而且会让搜索引擎不知道哪个界面是你最想展示给用户的。因此，我们需要告诉搜索引擎哪些资源不需要花费时间抓取，这就需要使用 robots.txt 文件。这篇 SEO 教程就先到这里。
