AI 爬蟲擋不擋：三種機器人該放行哪一種
GPTBot、ClaudeBot、PerplexityBot 性質完全不同，一次全擋可能連 Google 一起擋掉。三種機器人的差異、robots.txt 三種寫法與最常見的致命錯誤。
Photo by Priscilla Du Preez on Unsplash
這一兩年開始，不少公司的主機流量報表變得怪怪的：訪客人數沒什麼成長，但流量用量往上跳；有些共用主機的網站甚至在半夜被拖慢。去翻伺服器紀錄才發現，爬你網站最勤的不是 Googlebot，而是一堆名字沒聽過的機器人——GPTBot、ClaudeBot、PerplexityBot、CCBot。
接著老闆會問一個很實際的問題：這些東西把我花錢寫的產品說明、規格表、技術文章整包抓走，用來訓練 AI，我該不該擋掉？
這個問題沒有單一答案，但有一個常見的錯誤：把所有 AI 機器人當成同一種東西，一次全擋，或者乾脆不管。兩種做法都會付代價。要做判斷，得先知道來爬你官網的其實是三種性質完全不同的機器人。
先分清楚：三種機器人，利害完全不同
翻過 OpenAI、Anthropic、Perplexity、Google 這幾家的官方爬蟲說明文件，會發現它們的分類方式高度一致，都把自己的機器人拆成三類：
第一類：訓練用爬蟲。抓內容回去訓練模型，不會在當下帶任何流量回來。OpenAI 的 GPTBot、Anthropic 的 ClaudeBot 屬於這一類。Google 這邊則是用 Google-Extended 這個 robots.txt 代號來控制「抓到的內容能不能用來訓練 Gemini」。另外還有 CCBot，它屬於 Common Crawl 這個公開語料計畫，抓回去的資料會公開給各方取用。
第二類：AI 搜尋索引爬蟲。這類機器人建立的是「AI 回答問題時要引用誰」的索引。OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot、Perplexity 的 PerplexityBot 都是。重點來了：依官方說明，擋掉這一類，等於放棄在 AI 回答裡被引用、被附上連結的機會。Perplexity 的文件甚至直接建議網站主在 robots.txt 裡放行 PerplexityBot。
第三類：使用者觸發的即時抓取。有人在 ChatGPT 或 Claude 裡貼了你的網址、或問了一個需要讀你那頁才能回答的問題，系統當下才去抓那一頁。ChatGPT-User、Claude-User、Perplexity-User 都屬於這類，它們不做全站巡爬。這類有個要注意的地方：因為請求是真人發動的，OpenAI 的文件寫 robots.txt 規則「可能不適用」，Perplexity 的文件則寫得更直接——Perplexity-User 通常不理會 robots.txt。
所以同一個品牌底下的三隻機器人，對你的意義是三件事：第一類是把內容交出去訓練、沒有回報；第二類是曝光通路；第三類幾乎擋不住，也不太需要擋。把三類混在一起處理，就是多數網站做錯的地方。
Photo by Eric Prouzet on Unsplash
robots.txt 是門口的告示，不是鎖
這一點必須先講清楚，否則後面的設定會給人錯誤的安全感。robots.txt 是一份放在網站根目錄的文字檔，內容是「請不要抓這些」的請求。它沒有任何強制力，技術上也不會阻止任何一次連線——願不願意遵守，取決於對方。
大型業者的官方文件都公開承諾遵守 robots.txt，這部分可以合理期待；但網路上的爬蟲不只這幾家，還有大量來源不明、不具名的抓取行為。這代表兩件事：
- 真正不能外流的內容，不該只靠 robots.txt。報價表、經銷價、客戶名單、技術圖檔這類東西，該放在登入牆後面，或根本不要放上官網。robots.txt 反而會把路徑寫得一清二楚——它是公開檔案，任何人都能打開看。
- 要真的擋，得在伺服器或 CDN 那一層做。依 user-agent 或 IP 來源阻擋、設速率限制，才是有強制力的手段。不過 Anthropic 的說明文件特別提醒一件事：單純封鎖 IP 可能反而讓機器人連 robots.txt 都讀不到，等於你的退出設定永遠傳達不出去。
另一個實務細節：robots.txt 必須放在根目錄，而且每個子網域要各放一份。主網域擋了，shop. 或 blog. 子網域沒擋，等於沒擋。
三條路：全開、只開檢索、全關
分清機器人種類之後，決策就剩三種，差別在你的內容是「行銷資產」還是「核心資產」。
路線一：全部放行。適合靠內容接單的公司——官網有技術文章、應用案例、選型指南，希望越多人看到越好。這條路的邏輯是：被 AI 讀過、進了模型，日後有人問「這類設備台灣有哪些廠商」，你至少在候選名單裡。代價是訓練用的那一份確實沒有回報，純粹是把內容交出去。
路線二：擋訓練，放行檢索。這是目前比較多網站選的折衷。robots.txt 大致長這樣：
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /意思是：不想無償當訓練語料，但要留在 AI 搜尋的引用名單裡。依 OpenAI 的文件，擋 GPTBot 與搜尋可見度是兩套獨立設定，所以這個組合在邏輯上是成立的。
路線三：全部擋。適合內容本身就是產品的網站：付費資料庫、會員課程、累積多年的原創圖庫或檢索工具。這種情況下內容被整包抓走的損失，大於被引用的好處。但同樣要記得，robots.txt 只是第一道，真正的防線在權限設計。
還有一個常被忽略的角度：你的內容是不是原本就不想被公開引用。工程報價範例、客戶名稱、個案細節——這些東西本來就不該出現在公開頁面上，和 AI 無關。
Photo by Rosie Steggles on Unsplash
最貴的錯誤：一行字把 Google 一起擋掉
這是整件事裡風險最高的地方。robots.txt 的語法沒有驗證機制，寫錯不會報錯，只會安靜地生效。幾個實際出過事的寫法：
- 把
Googlebot寫進封鎖清單。有些人聽說 Google 也在做 AI，就連 Googlebot 一起擋。Googlebot是搜尋用的爬蟲，擋掉它，官網會從 Google 搜尋結果上消失。真正控制 AI 訓練的是Google-Extended，而依 Google 官方說明，這個代號不影響網站在 Google 搜尋的收錄，也不是排名訊號。 - 在
User-agent: *區塊底下寫Disallow: /。原意是「擋那些沒列名的 AI 爬蟲」，實際效果是擋掉所有遵守規則的爬蟲，包括搜尋引擎。 - 名稱拼錯或大小寫誤會。代號拼錯就等於這條規則不存在，而且不會有任何提示。
- 改在舊檔案上。有些 CMS 或外掛會自己產生 robots.txt，手動放的那份可能根本沒生效。
改完一定要驗證：直接在瀏覽器打開 你的網域/robots.txt 確認看到的是新內容，再到 Google Search Console 的 robots.txt 報表確認 Google 讀到的版本。另外，各家文件都提到設定生效需要時間，OpenAI 與 Perplexity 的說明都寫約 24 小時，不要改完當天就下結論。
如果決定不擋，就讓 AI 引用得準
選擇開放的話，接下來要處理的是另一個問題：AI 引用你的時候，有沒有把你是誰、賣什麼、怎麼聯絡寫清楚。這件事和傳統 SEO 的做法有重疊，但重點不太一樣：
- 關鍵資訊不要只存在圖片裡。規格表、料號、適用範圍、材質，做成 HTML 表格或文字，不要只做一張 JPG。圖片裡的字，模型不一定讀得到。
- 公司全名和產品型號要出現在同一頁。很多官網的文章頁只有內容，沒有「這是誰寫的、哪家公司」。被引用時就容易只剩一段內容，掛不上你的名字。
- 一頁回答一個問題。問答式的小標配上直接的答案，比一篇什麼都談的長文更容易被整段取用。
- 聯絡方式放在頁面裡，不要只放在圖片或表單後面。電話、地址、信箱以文字呈現，被引用時才帶得出去。
至於最近常被提到的 llms.txt——一份放在根目錄、專門給 AI 讀的網站導覽清單——目前還是提案階段的格式。翻 OpenAI、Anthropic、Perplexity、Google 的官方爬蟲文件，裡面講的都是 robots.txt，沒有把 llms.txt 列為正式支援的機制。想做可以當加分項，成本也不高，但不要把它當成取代 robots.txt 設定的做法。
這週可以做的三件事
這題不需要一次想清楚政策，先把資訊補齊再決定：
- 先看紀錄，不要先猜。請工程師或網站廠商調出最近三十天的伺服器存取紀錄，依 user-agent 做一份統計：哪些機器人來過、各抓了幾次、佔多少流量。有用 Cloudflare 之類的 CDN 的話，後台通常直接有分類報表。看到數字再決定要不要處理，通常會發現狀況比想像的輕或重。
- 打開自己的
robots.txt讀一遍。網址就是你的網域後面加/robots.txt。確認兩件事：Googlebot沒有被擋，以及User-agent: *底下沒有多出一條Disallow: /。這一步不用技術背景，三分鐘就能做完，但它擋掉的是最貴的那種錯誤。 - 決定哪些內容本來就不該公開。和業務、工程盤一次：報價、經銷價、客戶名稱、技術圖檔，有沒有正躺在公開頁面上。有的話，移到登入後面——這件事的優先順序高於所有 AI 爬蟲設定。
擋或不擋，說到底是一個生意判斷：內容是用來帶客人上門的，就讓它被讀到；內容本身就是你在賣的東西，就把它收好。真正要避免的，是在沒有任何數據、也沒看過自己 robots.txt 的情況下，憑一句「聽說 AI 在偷資料」做出決定。
資料來源
- OpenAI 開發者文件，〈Overview of OpenAI Crawlers〉（GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot 的用途與 robots.txt 行為）
- Anthropic 支援中心，〈ClaudeBot〉（ClaudeBot、Claude-SearchBot、Claude-User 的差異、Crawl-delay 與封鎖 IP 的提醒）
- Perplexity 開發者文件，〈Perplexity Crawlers〉（PerplexityBot 與 Perplexity-User 的差異、robots.txt 建議）
- Google Search Central，〈Google 常見爬蟲〉（Google-Extended 的範圍與對搜尋收錄的影響）