Robots.txt 通常是技術性 SEO 入門的第一課， 它告訴 Google 和其他搜尋引擎，可以或不可以在您的網站上做什麼。
例如，如果您不希望 Google 將您網站的某個部分編入索引，也就是說您不希望它顯示在搜尋結果中，則可以使用 robots.txt 來禁止顯示您網站的那個部分。
有可以直接用的robots.txt 且不須學習如何編寫包含網站地圖的程序嗎？
有可以直接用的robots.txt 且不須學習如何編寫包含網站地圖的程序嗎？
當然嘍！ 如果只用這個的話：
User-agent: *
Allow: /
Sitemap: https://www.yourwebiste.com/sitemap.xml
這能確保您的所有頁面都被 Google 找到並編入索引。
您想要 「禁止」（Disallow）哪些東西被編入索引？
您想要 「禁止」（Disallow）些東西被編入索引？
有時您可能會不希望 Google 將某些內容編入索引， 例如，您的爬取預算（Crawl Budget）很容易就被那些您不想在搜尋引擎中排名的頁面所消耗掉。
這裡是一些例子：
- 如果爬蟲花費太多時間在您不想要的頁面上，就會損害到您真正在意的那些頁面的排名和流量。
- 您正在構建網站的其中一部分，但還沒準備好提供查閱。
- 電商的結帳頁面。
- 如果您有收費的線上課程，可能會希望將整個部分禁止編入索引，畢竟，您應該不會想讓大家能免費查看您的付費內容。
- 在任何高端的頁面上，如果您有付費的線上工具，您可能會想要禁止某些頁面。
可以舉一些Disallow禁止的代碼範例嗎？
可以的！ 就在這兒：
User-agent: *
Allow: /
Disallow: /block-this-folder/
Sitemap: https://www.yourwebiste.com/sitemap.xml
如果想更深入挖掘，你薛要學習哪些基本命令?
- user-agents使用者代理：用來標識規則適用於哪個爬蟲。
- allow允許：可以被爬取的URL 路徑。
- disallow禁止：不可爬取的URL 路徑。
- sitemap網站地圖：網站地圖的完整 URL。
如果您是超級技術人員的話，我們建議您看看這個 Google 文檔，這個是取自Ahrefs的精彩指南。
Robots.txt 測試工具 – Which Should You Use?
該使用哪個Robots.xt 測試工具？
我們喜歡這兩個：
- https://technicalseo.com/tools/robots-txt/ – 最推薦的。
- https://support.google.com/webmasters/answer/6062598?hl=zh-Hant – 有如何使用 Search Console 的說明。
如何在WordPress上建立一個？
我們推薦使用 Yoast SEO 或類似的插件，因爲它們會自動執行，而且也很容易編輯。
建立好之後該做什麼？
您應該把它發送至 Google Search Console，在我們的SEO 概述和教學頁面上還有更多資訊。
總結
如果您知道怎麼使用的話，robots.txt 會是一個非常強大的工具。 當您第一次開始時，它可能會有點難懂，坦白來說，這其實也不是您應該關注的事情。 如果您是新手的話，只需要弄一個簡單的，並把它提交到 Search Console上。
它實際上是更適用於比較高端的網站。