搜索引擎做什么以及它们是如何创建个人博客或网站的

了解搜索引擎做什么以及它们是如何工作的。简单的分步教程。

如果您是开发人员、设计师、小企业主、营销专家、网站所有者，或者正在考虑为您的企业创建个人博客或网站，那么您需要了解搜索引擎的工作原理。

清楚地了解搜索的工作原理，可以帮助您创建一个搜索引擎可以理解的网站，这有许多额外的好处。

这是您在处理搜索引擎优化(SEO) 或任何其他 SEM（搜索引擎营销）任务之前需要采取的第一步。

在本指南中，您将了解搜索引擎用于查找、组织和向用户呈现信息的三个主要过程（抓取、索引和排名）。

搜索引擎做什么？

你有没有想过你每天使用谷歌或任何其他搜索引擎搜索网络多少次？

是 5 倍、10 倍，甚至更多？您是否知道仅 每年就处理超过 2 万亿次搜索？

数字是巨大的。搜索引擎已经成为我们日常生活的一部分。我们将它们用作学习工具、购物工具，用于娱乐和休闲，也用于商务。

毫不夸张地说，我们已经到了几乎所有事情都依赖搜索引擎的地步。

发生这种情况的原因非常简单。我们知道搜索引擎，特别是谷歌，可以回答我们所有的问题和疑问。

但是，当您键入查询并单击搜索时会发生什么？搜索引擎如何在内部工作以及它们如何决定在搜索结果中显示什么以及以什么顺序显示？

搜索引擎如何工作

搜索引擎是复杂的计算机程序。

在他们甚至允许您输入查询和搜索网络之前，他们必须做大量的准备工作，以便当您单击“搜索”时，您会看到一组精确且高质量的结果来回答您的问题或查询。

“准备工作”包括什么？三个主要阶段。第一阶段是发现信息的过程，第二阶段是整理信息，第三阶段是排序。

这在互联网世界中通常被称为抓取、索引和排名。

搜索引擎的工作原理（概述）

第 1 步：爬行

搜索引擎有许多称为网络爬虫（因此称为爬虫）的计算机程序，它们负责查找 上公开可用的信息。

为了简化一个复杂的过程，您只需知道这些软件爬虫（也称为搜索引擎蜘蛛）的工作就是扫描互联网并找到托管网站的服务器（也称为网络服务器）。

他们创建了所有要抓取的网络服务器的列表，每个服务器托管的网站数量，然后开始工作。

他们访问每个网站，并通过使用不同的技术，试图找出他们有多少页面，无论是文本内容、图像、视频还是任何其他格式（CSS、HTML、 等）。

访问一个网站时，除了记录页面数量外，他们还会跟踪任何链接（指向网站内的页面或外部网站），因此他们会发现越来越多的页面。

他们不断地这样做，他们还跟踪对网站所做的更改，以便他们知道何时添加或删除新页面，何时更新链接等。

如果考虑到当今 上有超过 130 万亿个单独的页面，并且平均每天发布数千个新页面，您可以想象这是一项艰巨的工作。

为什么要关心爬取过程？

在为搜索引擎优化您的网站时，您首先要考虑的是确保他们可以正确访问它，否则如果他们无法“阅读”您的网站，您不应该对高排名或搜索引擎流量有太多期望。

如上所述，爬虫有很多工作要做，您应该尝试让他们的工作更轻松。

有很多事情要做，以确保爬虫能够以最快的方式发现和访问您的网站而不会出现问题。

使用 .txt 指定您不希望抓取工具访问您网站的哪些页面。例如如何访问google(谷歌)搜索引擎搜索，您的管理页面或后端页面以及您不希望在 上公开的其他页面。像 和 Bing 这样的大型搜索引擎有工具（又名网站管理员工具），您可以使用它们为他们提供有关您网站的更多信息（页面数量、结构等），这样他们就不必自己找到它。使用XML 站点地图列出您网站的所有重要页面，以便爬虫知道哪些页面需要监控以进行更改，哪些页面可以忽略。第 2 步：索引

仅靠爬网不足以构建搜索引擎。

爬虫识别的信息需要进行组织、分类和存储，以便搜索引擎算法对其进行处理，然后再提供给最终用户。

这个过程称为索引。

搜索引擎不会将页面上找到的所有信息存储在其索引中，但它们会保留以下内容：创建/更新时间、页面标题和描述、内容类型、相关关键字、传入和传出链接等等他们的算法所需的其他参数。

喜欢将其索引描述为一本书的背面（一本非常大的书）。

为什么要关心索引过程？

这很简单，如果您的网站不在他们的索引中，它不会出现在任何搜索中。

这也意味着您在搜索引擎索引中的页面越多，当有人键入查询时，您出现在搜索结果中的机会就越大。

请注意，我提到了“出现在搜索结果中”这个词，这意味着在任何位置，不一定在顶部位置或页面上。

为了出现在 SERP（搜索引擎结果页面）的前 5 个位置，您必须使用称为搜索引擎优化或 SEO 的过程为搜索引擎优化您的网站。

如何查找您的网站有多少页面包含在 索引中？

有两种方法可以做到这一点。

打开 并使用站点运算符，后跟您的域名。例如站点：。您会发现有多少与特定域相关的页面包含在 索引中。

第二种方法是创建一个免费的 帐户并添加您的网站。

然后查看报告，尤其是 VALID AND 页面。

有效和索引页面谷歌搜索控制台报告

第 3 步：排名

搜索引擎排名算法

该过程的第三步也是最后一步是让搜索引擎决定在 SERPS 中显示哪些页面以及当有人键入查询时以什么顺序显示。

这是通过使用搜索引擎排名算法来实现的。

简单来说，这些是具有许多规则的软件，这些规则可以分析用户正在寻找什么以及要返回什么信息。

这些规则和决定是根据其索引中可用的信息制定的。

搜索引擎算法如何工作？

多年来，搜索引擎排名算法已经发展并变得非常复杂。

一开始（想想 2001 年），它就像将用户的查询与页面标题匹配一样简单，但现在情况已不再如此。

谷歌的排名算法在做出决定之前考虑了超过 255 条规则，没有人知道这些规则是什么。

这包括创建原始算法的拉里佩奇和谢尔盖布林（谷歌的创始人）。

事情发生了很大变化，现在机器学习和计算机程序负责根据网页上内容边界之外的许多参数做出决策。

为了更容易理解，以下是搜索引擎排名因素如何工作的简化过程：

第 1 步：分析用户查询

第一步是让搜索引擎了解用户正在寻找什么样的信息。

为此，他们通过将用户的查询（搜索词）分解为许多有意义的关键字来分析它。

关键字是具有特定含义和目的的词。

例如，当您输入“How to make a cake”时，搜索引擎会从how-to一词中知道您正在寻找有关如何制作巧克力蛋糕的说明，因此返回的结果将包含带有食谱的烹饪网站。

如果您搜索“Buy ….”，他们会从购买和翻新这两个词中知道您正在寻找购买的东西，并且返回的结果将包括电子商务网站和在线商店。

机器学习帮助他们将相关的关键词联系在一起。例如，他们知道“how to a light bulb”这个查询的含义与“how to a light bulb”的含义相同。

谷歌查询分析器示例

他们还足够聪明地解释拼写错误，理解复数形式，并且通常从自然语言中提取查询的含义（在语音搜索的情况下是书面的或口头的）。

第 2 步：查找匹配页面

第二步是查看他们的索引并决定哪些页面可以为给定的查询提供最佳答案。

对于搜索引擎和网站所有者来说，这是整个过程中非常重要的阶段。

搜索引擎需要以最快的方式返回最好的结果，这样他们才能让用户满意，而网站所有者希望他们的网站被选中，从而获得流量和访问量。

这也是良好的SEO 技术可以影响算法做出的决定的阶段。

为了让您了解匹配的工作原理，以下是最重要的因素：

标题和内容相关性——页面的标题和内容与用户查询的相关程度。

内容类型——如果用户要求图像，返回的结果将包含图像而不是文本。

内容的质量——内容需要彻底、有用、信息丰富、公正，并涵盖故事的两个站点。

网站质量——网站的整体质量很重要。 不会显示来自不符合其质量标准的网站的网页。

发布日期- 对于与新闻相关的查询， 希望显示最新结果，因此也会考虑发布日期。

页面的受欢迎程度——这与网站的流量无关，而与其他网站对特定页面的看法有关。

来自其他网站的具有大量引用（反向链接）的页面被认为比没有链接的其他页面更受欢迎，因此更有机会被算法拾取。此过程也称为Off-Page SEO。

页面语言——用户使用他们的语言提供页面，并不总是英语。

网页速度——与加载速度慢的网站相比，加载速度快（想想 2-3 秒）的网站有一点优势。

设备类型——在移动设备上搜索的用户会看到适合移动设备的页面。

位置——用户搜索他们所在地区的结果如何访问google(谷歌)搜索引擎搜索，即“俄亥俄州的意大利餐厅”，将显示与其位置相关的结果。

这只是冰山一角。如前所述，谷歌在其算法中使用了超过 255 个因素来确保其用户对他们获得的结果感到满意。

为什么要关心搜索引擎排名算法的工作原理？

为了从搜索引擎获得流量，您的网站需要出现在结果第一页的顶部位置。

统计证明，大多数用户点击前 5 个结果之一（桌面和移动）。

每个SEO排名位置的点击率。

出现在结果的第二页或第三页根本不会为您带来任何流量。

流量只是SEO 的好处之一，一旦您获得对您的业务有意义的关键字的最高位置，额外的好处就会更多。

了解搜索引擎的工作原理可以帮助您调整网站并提高排名和流量。

结论

搜索引擎已成为非常复杂的计算机程序。他们的界面可能很简单，但他们的工作和决策方式远非简单。

该过程从爬行和索引开始。在此阶段，搜索引擎爬虫会为 上公开的所有网站收集尽可能多的信息。

他们以搜索引擎算法可以使用的格式发现、处理、排序和存储这些信息，以做出决定并将最佳结果返回给用户。

他们必须消化的数据量是巨大的，而且这个过程是完全自动化的。人工干预只是在设计各种算法使用的规则的过程中进行，但即使这一步也正在通过人工智能的帮助逐渐被计算机取代。

作为网站管理员，您的工作是通过创建结构简单明了的网站来简化抓取和索引工作。

一旦他们可以毫无问题地“阅读”您的网站，您就需要确保为他们提供正确的信号以帮助他们的搜索排名算法，在用户键入相关查询（即 SEO）时选择您的网站。

获得整个搜索引擎流量的一小部分就足以建立一个成功的在线业务。