让 Google 搜索个人网站

89次阅读

共计 3105 个字符，预计需要花费 8 分钟才能阅读完成。

网站运行一段时间后，你可能试着通过百度和 Google 搜下自己的网站。理想很丰满，现实很残酷，你应该会看到类似的搜索结果：
让 Google 搜索个人网站

为何百度能搜到，Google 却查不到呢？笔者以本站为例，说下如何让 Google 收录个人网站。

首先查看网站的 robots.txt，有没有禁止 Google，如果有禁止，将其移除，如果没有，则说明是 Google 本来就没有收录网站。点击 Google 搜索显示的 “尝试使用 Google Search Console” 来解决问题。

打开 Google Search Console ，目前 Google 提供了网域和网址前缀两种方式来验证对网站的所有权，下面分别说下这两种方式的验证流程。

网域验证是使用 DNS 来进行验证，需要有修改网站 DNS 信息的权限，由于 DNS 变更可能在几小时之后，这种方式相对而言耗时较久。

输入域名：qileq.com，点击继续，提示如下信息：

点击复制按钮，复制 DNS TXT 记录。
修改 DNS 信息，笔者在腾讯云上购买的 DNS 服务，故这里以腾讯云为例。登录腾讯云，打开 DNSPod 控制台，点击 “我的域名”，选择站点，点击添加记录，输入如下信息：
- 主机记录：@
- 记录类型：TXT
- 线路类型：谷歌
- 记录值：复制 Google 提供的 TXT 记录。
  
  点击确认。
回到 Google Search Console，点击验证按钮，如果出现如下提示：

尝试等待几小时后再重试，如果仍然失败，尝试使用网址前缀的方法。

网址前缀相对而言能更快的被 Google 抓取，目前有五种验证方式：

HTML 文件：下载 HTML 文件，加到网站根目录下，不需要改任何代码。
HTML 标记：复制 HTML 标记，加到 <head> 部分。
Google Analytics：使用对应的 Google Analytics 账号信息，将 gtag.js 或 analytics.js 添加到 <head> 部分。如果已配置过 Google Analytics 但未被抓取，直接使用这种方式验证是最方便的。
Google 跟踪代码管理器：使用对应的 Google 跟踪代码管理器来验证。
域名提供商：将 DNS 记录与 Google 关联，设置过程和“网域验证”中的过程相同。

笔者使用 Google Analytics 验证，验证成功后提示如下：
让 Google 搜索个人网站

点击进入 Google Search Console，点击“网址检查”，输入 https://qileq.com 查询，显示“网址尚未收录到 Google”：
让 Google 搜索个人网站

点击请求编入索引，等待 Google 编入索引。几分钟后编入索引成功：
让 Google 搜索个人网站

一段时间后，通过 Google 搜索 "site:qileq.com" 即能看到效果。

为方便 Google 和百度的爬虫更高效的爬取网站，可添加 sitemap。当前一些网站和博客会自动生成 sitemap。若需要手动生成，可使用 XML-Sitemaps.com 帮助，然后将生成的 sitemap.xml 放到网站根目录下。

Sitemap（即站点地图）是一种文件，您可以在其中提供与您网站中的网页、视频或其他文件有关的信息，还可以说明这些内容之间的关系。Google 等搜索引擎会读取此文件，以便更高效地抓取您的网站。Sitemap 会告诉 Google 您认为网站中的哪些网页和文件比较重要，还会提供与这些文件有关的重要信息。例如，网页上次更新的时间和网页是否有任何备用的语言版本。

以下情况下，您可能不需要 sitemap：

您的网站规模“较小”。规模较小是指网站上的网页数不超过 500 个。（只有您认为需要纳入搜索结果中的网页才会计入此总数。）
您的网站已在内部全面建立链接。这意味着，Google 可以沿着首页的链接找到您网站上的所有重要网页。
您想在搜索结果中显示的媒体文件（视频、图片）或新闻网页不多。sitemap 可帮助 Google 找到并了解您网站上的视频和图片文件或新闻报道。但如果您不希望这些内容出现在图片、视频或新闻搜索结果中，则可能不需要 sitemap。

以下情况下，您可能需要 sitemap：

网站规模很大。在这种情况下，Google 网页抓取工具更有可能在抓取时漏掉部分新网页或最近更新的网页。
网站有大量内容页归档，这些内容页之间互不关联或缺少有效链接。如果您的网站网页没有自然地相互引用，那么您可以在 sitemap 中列出这些网页，确保 Google 不会漏掉其中某些网页。
网站为新网站且指向该网站的外部链接不多。Googlebot 及其他网页抓取工具是通过跟踪网页之间的链接来抓取网页的。因此，如果没有其他网站链接到您的网页，Google 可能不会发现您的网页。
您的网站包含大量富媒体内容（视频、图片）或显示在 Google 新闻中。如果提供了 sitemap，在适当情况下，Google 能将 sitemap 中的其他信息纳入搜索范围。

接着在 Google Search Console 中点击“站点地图”，添加 sitemap.xml 并提交，等待状态变为“成功”:
让 Google 搜索个人网站

不同的网站类型有不同的设置方法，本文以常用的 WordPress 和 Docusaurus 简单说下如何开启 sitemap。

WordPress 中有不少 SEO 插件都提供了开启 sitemap 的功能，如下是一些常用的插件：

若已经安装了上述插件之一，可在插件设置中开启 sitemap。

对于使用 Docusaurus 建设网站的用户可以参考如下设置：

开启 sitemap。
如果使用了 @docusaurus/preset-classic，将自动生成 sitemap，否则需要使用 @docusaurus/plugin-sitemap 插件。

开启 gtag。
参考网站统计服务设置 gtag。docusaurus.config.js 配置如下：

const config = {
  presets: [
     [
        '@docusaurus/preset-classic',
        {
           gtag: {
              trackingID: 'G-XXXX',  # 替换成自己网站的 trackingID
              anonymizeIP: true,
           },
           sitemap: {
              changefreq: 'weekly',
              priority: 0.5,
           },
        },
     ],
  ],
  ....
}

添加 keywords。
Docusaurus 同时支持为整站和单页面添加元数据，以方便搜索引擎更好的处理网站内容。
- 在 docusaurus.config.js 中设置全站的 metadata：
```
module.exports = {
themeConfig: {
metadata: [
    {
        name: 'keywords',
        content: '技术, blog, 分布式'
    }
],
},
};
```
- 在 Markdown 页面中设置 metadata，如：
```
title: 让谷歌搜索到个人网站
keywords: [blog, google, 搜索, 个人网站]
```
消除 "Your Docusaurus site did not load properly" 提示。
默认情况下，Docusaurus 类型的网站会显示 "Your Docusaurus site did not load properly" 的提示：

编辑 docusaurus.config.js，设置 baseUrlIssueBanner 为 false 来隐藏提示：
```
module.exports = {  baseUrlIssueBanner: false, };
```