Google Search Console 彙整

SEO小教室:只要五分鐘就學會設定網站robots meta

SEO小教室回來啦!!今天要來教大家如何快速學會設定網站robots meta,還沒學過的同學今天就給他學起來!!

甚麼狀況下該使用 robots meta 與 robots.txt

robots meta 對 SEO 的操作上也是很重要。robots meta 與 robots.txt 都能向搜尋引擎宣告如何處理網頁。前者為阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ； robots.txt 則是全面阻止搜尋引擎抓取你的資料 (搜尋引擎會自動略過你指定的網站)。

當然，大多數的狀況，你不會讓 robots.txt 來阻止搜尋引擎抓取辛苦建立的網站。但是以若這個網站對你的 SEO 有負面影響、或是私密性高的話，就可以用robots.txt 來阻擋搜尋引擎抓取，常見的情況如下所示:

1. 多年前有經過黑帽 SEO 手法，卻還沒處理的網頁、

2. 施工中未完成的網頁等

3. 網站或是公司內部系統的登入頁面

若你只是希望這個網頁不要出現在搜尋引擎結果中的話，那用 robots meta 即可。

SEO Robot Meta 示意圖

如何設定網站 robots.txt

【檔案存取位置】robots.txt 位於網站的根目錄下
【作用】告訴搜尋引擎哪些網站內容不要進行存取，並且可以指定 sitemap 的位置。
【路徑】如果你有建立並使用 robots.txt，則他的位置會是 http://網址/robots.txt，如果這個檔案不存在，則代表沒有使用 robots.txt。

【宣告類型】有五種，如下所示：
1. User-agent
  指定哪一種搜尋引擎的爬蟲，如 Google 的爬蟲「googlebot」或是百度的爬蟲等等（* 號代表全部）
2. Crawl-delay
  限制爬蟲抓取每一頁的秒數限制，但是該設定會被 Google 跳過不處理。因為 Google 在網站管理員中，就有爬取頻率的設定。
3. Disallow
  輸入你不允許被爬取的 URL 路徑
4. Allow
  輸入你允許被爬取的 URL 路徑
5. Sitemap
  告知搜尋引擎的 Sitemap 網址

以上五種宣告類型如何編輯? 常見的如以下所示：
1. 拒絕所有的搜尋引擎爬蟲爬取你的網站：
  User-agent:*
  Disallow: /
2. 允許全部的搜尋引擎爬蟲爬取你的網站：
  User-agent:*
  Disallow: /
3. 拒絕 Google 的搜尋引擎爬蟲爬取 /wp-admin 目錄
  User-agent:*
  Disallow: /wp-admin/
4. 只拒絕百度的搜尋引擎爬蟲，卻允許其他搜尋引擎 (如 Google、Yahoo、Yandax等等) 爬取
  User-agent:Baiduspider
  Disallow: /
  User-agent:*
  Allow: /
5. 拒絕搜尋引擎爬取特定類型的檔案
  User-agent:*
  Disallow: /*.ini$
  Disallow: /*.jpg$
6. 實際網站完整 robots.txt
  User-agent:*
  Crawl-delay: 7
  Disallow: /wp-admin/
  Disallow: /cgi-bin/
  Disallow: /readme.html/
  Disallow: /*.ini$ sitemap: http://codingbomb.com.tw/sitemap.xml

robots.txt-如何設定?

使用 Google Search Console 來檢查 robots.txt 是否設定正確

舊版的 Google 網站管理員 Search Console 中，有 robots.txt 測試工具，他會模擬 Google 搜尋引擎爬蟲來檢查你的 robots.txt 的正確性。

如何設定網站 robots meta

【檔案存取位置】robots meta 宣告置於網頁 HTML 的 <head>與</head>之間
【作用】宣告阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ，但是不引醒使用者瀏覽你的網頁
【語法】 <META NAME=”屬性值#1″ CONTENT=”屬性值#2″>

屬性值#1，為指定哪種搜尋，常用語法如下:

robots:所有搜尋引擎的爬蟲
googlebot:GOOGLE 搜尋引擎的爬蟲
bingbot:Bing 搜尋引擎的爬蟲
slurp:Yahoo 搜尋引擎的爬蟲
Baiduspider:百度搜尋引擎的爬蟲
AhrefsBot:Ahrefs.com的爬蟲
MJ12Bot:Majestic.com的爬蟲

屬性值#2，為指定處理方式，常見代碼如下

noindex:不要索引本網頁
nofollow:不要跟隨本網頁內的連結頁面
noarchive:不要儲存庫存網頁
nosnippet:不要在搜尋結果顯示描述或是快照
none:等於 noindex 與 nofollow
noimageindex:不要索引本網頁的圖片，只適用於 Google
unavailable_after:date:在指定日期後停止索引本頁

更多關於SEO或程式語言相關文章請點閱下方連結

其他閱讀

元宇宙也有翻譯蒟蒻了！Meta推全球語言都可翻譯的人工智慧

Google提出Android隱私沙盒，標榜保護用戶資料安全

白帽SEO、黑帽SEO，到底差在哪?

RWD 和 AWD 的差異與優缺點

麥當勞正式註冊十個虛擬餐廳商標!!大舉進攻元宇宙?

義大利廠Brembo幫你實現人工智慧自動煞車的夢想(上)

Spotify研發人工智慧技術抓住客戶!穩坐串流音樂龍頭!

SEO情報站:Google改變了處理軟404檢測和分類的方式

最新的SEO情報來啦!!想知道Google如何改變了處理軟404檢測和分類方式嗎?那千萬別錯過今天的文章喔!!

Google 的 John Mueller 七月九日證實 Google 改變處理「軟 404」檢測和分類的方式：Google 將依設備類型查看網站中的每個頁面，並可能將同一個 URL，依行動裝置和桌上型電腦上而分配不同的軟 404 分類。詳情如以下的影片的第 22 分鐘開始：

軟 404 是什麼？

「軟 404」是指網頁返回的 HTTP 狀態代碼為 200 （代表網頁一切正常），但實際上該網頁並沒有載入內容或無法被找到，而應該回傳 404 「頁面不存在」的狀態。當這種情況發生時，Google 會將這些頁面標記為「軟 404」，並將此 URL 視為真正的 404 頁面、不將該頁面編入索引。想要更深入了解軟 404 對 SEO 造成的影響，請看此篇。

「軟 404」的處理，將依桌機或手機而有所不同

而今天 Google 說他們處理軟式 404 分類的方式改為「按設備類型」來查看 URL 。所以若 Google 看到一個 URL 並透過桌上型電腦訪問其 URL，然後再使用行動裝置訪問同一個 URL 的話，有可能會為桌上型電腦而非行動裝置回傳「軟 404」。簡而言之，Google 不只依照 URL 來檢測軟 404 狀態，現在也依設備種類而有所不同。依據國外 SEO 媒體的報導，這些改變其實早在一個月前就發生了⋯⋯

所造成的問題

當 SEO 注意到以下兩件事之一時，問題就浮現了：

使用 Google 搜尋引擎進行查詢時，發現 Google 沒有索引該頁面
SEO 在 Search Console 中看見「軟 404」錯誤大幅增多，但在 Google 搜尋引擎卻沒有看到問題

到底是怎麼一回事

一個網頁在行動裝置中可以正常返回，並且不會在 Search Console 中顯示軟 404 錯誤。 Google 僅顯示基於行動裝置所抓到的軟 404 錯誤，因此若一個網頁能在行動裝置上正常運作的話，Search Console 就不會顯示錯誤——但 Google 可能會為同個頁面的桌機版本顯示軟 404 錯誤。在這種情況下，當你在桌上型電腦的 Google 搜尋時，可能就看不到這些頁面被編入索引並出現在搜尋結果中。同時，Search Console 也會顯示一切正常——但僅限於行動裝置，在桌機上就不正常了。

放心！Google 正在修復錯誤

Google 團隊現在正致力於改善軟 404 分類的問題。如果你也在一個月前開始，開始注意到你網站的軟 404 錯誤大幅增加的話，則可能與這項改變有關。請務必向 Google 提出問題、列出存在此問題的 URL，未來 Google 可望為你解決。因為此次的變動可能會影響你網站的 SEO 成效，你可以至 Google Search Help Community 描述所遇到的問題，或是⋯⋯透過 Twitter 直接反映給 Google 的 John Mueller（@johnmu）。

參考資料：