Robots.txt 設定:如何建立Robots.txt以及2021年改善SEO最推薦的測試工具

Robots.txt 通常是技術性 SEO 入門的第一課, 它告訴 Google 和其他搜尋引擎,可以或不可以在您的網站上做什麼。

例如,如果您不希望 Google 將您網站的某個部分編入索引,也就是說您不希望它顯示在搜尋結果中,則可以使用 robots.txt 來禁止顯示您網站的那個部分。

有可以直接用的robots.txt 且不須學習如何編寫包含網站地圖的程序嗎?

有可以直接用的robots.txt 且不須學習如何編寫包含網站地圖的程序嗎?

當然嘍! 如果只用這個的話:


User-agent: *
Allow: /

Sitemap: https://www.yourwebiste.com/sitemap.xml

這能確保您的所有頁面都被 Google 找到並編入索引。

您想要 「禁止」(Disallow)哪些東西被編入索引?

您想要 「禁止」(Disallow)些東西被編入索引?

有時您可能會不希望 Google 將某些內容編入索引, 例如,您的爬取預算(Crawl Budget)很容易就被那些您不想在搜尋引擎中排名的頁面所消耗掉。

這裡是一些例子:

  • 如果爬蟲花費太多時間在您不想要的頁面上,就會損害到您真正在意的那些頁面的排名和流量。
  • 您正在構建網站的其中一部分,但還沒準備好提供查閱。
  • 電商的結帳頁面。
  • 如果您有收費的線上課程,可能會希望將整個部分禁止編入索引,畢竟,您應該不會想讓大家能免費查看您的付費內容。
  • 在任何高端的頁面上,如果您有付費的線上工具,您可能會想要禁止某些頁面。

可以舉一些Disallow禁止的代碼範例嗎?

可以的! 就在這兒:


User-agent: *
Allow: /

Disallow: /block-this-folder/

Sitemap: https://www.yourwebiste.com/sitemap.xml

如果想更深入挖掘,你薛要學習哪些基本命令?

  • user-agents使用者代理:用來標識規則適用於哪個爬蟲。
  • allow允許:可以被爬取的URL 路徑。
  • disallow禁止:不可爬取的URL 路徑。
  • sitemap網站地圖:網站地圖的完整 URL。

如果您是超級技術人員的話,我們建議您看看這個 Google 文檔,這個是取自Ahrefs的精彩指南

Robots.txt 測試工具 – Which Should You Use?

該使用哪個Robots.xt 測試工具?

我們喜歡這兩個:

如何在WordPress上建立一個?

我們推薦使用 Yoast SEO 或類似的插件,因爲它們會自動執行,而且也很容易編輯。

建立好之後該做什麼?

您應該把它發送至 Search Console,在我們的SEO 概述和教學頁面上還有更多資訊。

總結

如果您知道怎麼使用的話,robots.txt 會是一個非常強大的工具。 當您第一次開始時,它可能會有點難懂,坦白來說,這其實也不是您應該關注的事情。 如果您是新手的話,只需要弄一個簡單的,並把它提交到 Search Console上。

它實際上是更適用於比較高端的網站。