让 Google 搜索个人网站

133次阅读

共计 3099 个字符，预计需要花费 8 分钟才能阅读完成。

网站运行一段时间后，你可能试着通过百度和 Google 搜下自己的网站。理想很丰满，现实很残酷，你应该会看到类似的搜索结果：
让 Google 搜索个人网站

为何百度能搜到，Google 却查不到呢？笔者以本站为例，说下如何让 Google 收录个人网站。

首先查看网站的 robots.txt，有没有禁止 Google，如果有禁止，将其移除，如果没有，则说明是 Google 本来就没有收录网站。点击 Google 搜索显示的 “尝试使用 Google Search Console” 来解决问题。

提交网站信息#

打开 Google Search Console ，目前 Google 提供了网域和网址前缀两种方式来验证对网站的所有权，下面分别说下这两种方式的验证流程。

网域验证#

网域验证是使用 DNS 来进行验证，需要有修改网站 DNS 信息的权限，由于 DNS 变更可能在几小时之后，这种方式相对而言耗时较久。

输入域名：qileq.com，点击继续，提示如下信息：

点击复制按钮，复制 DNS TXT 记录。
修改 DNS 信息，笔者在腾讯云上购买的 DNS 服务，故这里以腾讯云为例。登录腾讯云，打开 DNSPod 控制台，点击 “我的域名”，选择站点，点击添加记录，输入如下信息：
- 主机记录：@
- 记录类型：TXT
- 线路类型：谷歌
- 记录值：复制 Google 提供的 TXT 记录。
  
  点击确认。
回到 Google Search Console，点击验证按钮，如果出现如下提示：

尝试等待几小时后再重试，如果仍然失败，尝试使用网址前缀的方法。

网址前缀#

网址前缀相对而言能更快的被 Google 抓取，目前有五种验证方式：

HTML 文件：下载 HTML 文件，加到网站根目录下，不需要改任何代码。
HTML 标记：复制 HTML 标记，加到 <head> 部分。
Google Analytics：使用对应的 Google Analytics 账号信息，将 gtag.js 或 analytics.js 添加到 <head> 部分。如果已配置过 Google Analytics 但未被抓取，直接使用这种方式验证是最方便的。
Google 跟踪代码管理器：使用对应的 Google 跟踪代码管理器来验证。
域名提供商：将 DNS 记录与 Google 关联，设置过程和“网域验证”中的过程相同。

笔者使用 Google Analytics 验证，验证成功后提示如下：
让 Google 搜索个人网站

点击进入 Google Search Console，点击“网址检查”，输入 https://qileq.com 查询，显示“网址尚未收录到 Google”：
让 Google 搜索个人网站

点击请求编入索引，等待 Google 编入索引。几分钟后编入索引成功：
让 Google 搜索个人网站

一段时间后，通过 Google 搜索 “site:qileq.com” 即能看到效果。

添加 sitemap#

为方便 Google 和百度的爬虫更高效的爬取网站，可添加 sitemap。当前一些网站和博客会自动生成 sitemap。若需要手动生成，可使用 XML-Sitemaps.com 帮助，然后将生成的 sitemap.xml 放到网站根目录下。

Sitemap（即站点地图）是一种文件，您可以在其中提供与您网站中的网页、视频或其他文件有关的信息，还可以说明这些内容之间的关系。Google 等搜索引擎会读取此文件，以便更高效地抓取您的网站。Sitemap 会告诉 Google 您认为网站中的哪些网页和文件比较重要，还会提供与这些文件有关的重要信息。例如，网页上次更新的时间和网页是否有任何备用的语言版本。

不需要设置 sitemap 的情况#

以下情况下，您可能不需要 sitemap：

您的网站规模“较小”。规模较小是指网站上的网页数不超过 500 个。（只有您认为需要纳入搜索结果中的网页才会计入此总数。）
您的网站已在内部全面建立链接。这意味着，Google 可以沿着首页的链接找到您网站上的所有重要网页。
您想在搜索结果中显示的媒体文件（视频、图片）或新闻网页不多。sitemap 可帮助 Google 找到并了解您网站上的视频和图片文件或新闻报道。但如果您不希望这些内容出现在图片、视频或新闻搜索结果中，则可能不需要 sitemap。

需要设置 sitemap 的情况#

以下情况下，您可能需要 sitemap：

网站规模很大。在这种情况下，Google 网页抓取工具更有可能在抓取时漏掉部分新网页或最近更新的网页。
网站有大量内容页归档，这些内容页之间互不关联或缺少有效链接。如果您的网站网页没有自然地相互引用，那么您可以在 sitemap 中列出这些网页，确保 Google 不会漏掉其中某些网页。
网站为新网站且指向该网站的外部链接不多。Googlebot 及其他网页抓取工具是通过跟踪网页之间的链接来抓取网页的。因此，如果没有其他网站链接到您的网页，Google 可能不会发现您的网页。
您的网站包含大量富媒体内容（视频、图片）或显示在 Google 新闻中。如果提供了 sitemap，在适当情况下，Google 能将 sitemap 中的其他信息纳入搜索范围。

接着在 Google Search Console 中点击“站点地图”，添加 sitemap.xml 并提交，等待状态变为“成功”:
让 Google 搜索个人网站

网站开启 sitemap#

不同的网站类型有不同的设置方法，本文以常用的 WordPress 和 Docusaurus 简单说下如何开启 sitemap。

WordPress#

WordPress 中有不少 SEO 插件都提供了开启 sitemap 的功能，如下是一些常用的插件：

若已经安装了上述插件之一，可在插件设置中开启 sitemap。

Docusaurus#

对于使用 Docusaurus 建设网站的用户可以参考如下设置：

开启 sitemap。
如果使用了 @docusaurus/preset-classic，将自动生成 sitemap，否则需要使用 @docusaurus/plugin-sitemap 插件。

开启 gtag。
在 docusaurus.config.js 中添加 gtag 配置，如下：

const config = {
  presets: [
     [
        '@docusaurus/preset-classic',
        {
           gtag: {
              trackingID: 'G-XXXX',  # 替换成自己网站的 trackingID
              anonymizeIP: true,
           },
           sitemap: {
              changefreq: 'weekly',
              priority: 0.5,
           },
        },
     ],
  ],
  ....
}

添加 keywords。
Docusaurus 同时支持为整站和单页面添加元数据，以方便搜索引擎更好的处理网站内容。

在 docusaurus.config.js 中设置全站的 metadata：

module.exports = {
themeConfig: {
    metadata: [
        {
            name: 'keywords',
            content: '技术, blog, 分布式'
        }
    ],
},
};

在 Markdown 页面中设置 metadata，如：

title: 让谷歌搜索到个人网站
keywords: [blog, google, 搜索, 个人网站]

消除 “Your Docusaurus site did not load properly” 提示。
默认情况下，Docusaurus 类型的网站会显示 “Your Docusaurus site did not load properly” 的提示：

编辑 docusaurus.config.js，设置 baseUrlIssueBanner 为 false 来隐藏提示：
```
module.exports = {  baseUrlIssueBanner: false, };
```