Cloudflare 問要不要封鎖 AI 爬蟲，店家該按「封鎖」嗎？

Cloudflare 封鎖 AI 爬蟲要不要開？

Cloudflare 封鎖 AI 爬蟲的開關，店家不要為了安心就按「全部封鎖」：「搜尋」和「代理」這兩類放行，「訓練」那一類要不要擋看你自己。原因很簡單，你開店的目的是讓客人找到你，而現在越來越多客人是問 ChatGPT、Gemini「附近哪家好」，AI 讀不到你的網站，就沒辦法在回答裡描述你、附你的連結。

所以主機商問你要不要封鎖 AI 爬蟲時，先看清楚它問的是哪一類，再回答。這個開關聽起來像資安保護，實際上它決定的是「AI 能不能讀你的網頁」。對媒體、出版社來說，內容本身就是商品，擋訓練有道理；對一家水電行、牙醫診所、搬家公司來說，網頁內容是名片，越多人（和 AI）讀到越好。這是兩種完全不同的生意，不能套同一個答案。

先講一件會讓你安心一點的事：Google 搜尋和 Google 的 AI 摘要走的是 Googlebot，這個開關針對的是 AI 用途的爬蟲，不是 Googlebot（後面會講怎麼確認）。所以這個開關真正影響的，是 ChatGPT 這類非 Google 的 AI，以及 AI 替客人即時去你網站查資料的那條路。

Cloudflare 擋 AI 機器人，會影響 Google 搜尋嗎？

不會，這個開關不是用來擋 Googlebot 的，Google 搜尋和 AI 摘要不會因為你開了它就消失。依 Cloudflare 文件，「封鎖 AI 機器人」擋的是 Cloudflare 判定為 AI 用途的爬蟲，包括它驗證過身分的 AI 爬蟲，加上一批行為類似但沒驗證的機器人。

不過 Google 官方文件在 AI 功能的 SEO 建議裡，第一條就是「確認 robots.txt 以及任何 CDN 或主機設施都允許爬取」，等於直接提醒：CDN 這一層的封鎖設定，是 Google 看過有人設錯的地方。

Google 的說法值得記住一句：AI 是內建在搜尋裡的，所以 Googlebot 在 robots.txt 的規則，就是網站控制自己在搜尋（含 AI 摘要、AI 模式）裡怎麼被讀取的方式。想控制 Google 拿內容去訓練 Gemini，以及 Gemini 應用程式回答當下能不能拿你的內容當依據，用的是另一個叫 Google-Extended 的標記，Google 明說它不影響搜尋收錄，也不是排名訊號。

整理成一句話：Cloudflare 的開關擋「AI 爬蟲」，Google 搜尋的開關在 robots.txt 的 Googlebot 規則，兩者不是同一個東西。如果你發現 Google 搜尋出問題，多半不是這個開關，而是 Cloudflare 其他的機器人防護規則或主機設定，要用 Search Console 的網址檢查去看 Googlebot 能不能抓到。

AI 爬蟲分「搜尋」「代理」「訓練」三種，店家該擋哪一種？

依 Cloudflare 文件的分類，AI 爬蟲分成搜尋（Search）、代理（Agent）、訓練（Training）三種用途，店家型網站建議放行前兩種，第三種看你介不介意內容被拿去訓練模型。三種各自可以設「全站封鎖」「只在有廣告的頁面封鎖」「放行」，設定位置在 Cloudflare 後台該網域的安全性設定裡，叫「Configure AI bot policies」。

三種用途對店家的意思：

這三類各有哪些爬蟲，依各家自己的說明可以舉幾個例子（這是 OpenAI 與 Anthropic 對自家爬蟲的描述，不是 Cloudflare 的分類清單）：負責搜尋的有 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot；使用者提問時當下替人讀網頁的有 ChatGPT-User、Claude-User；拿內容去訓練模型的有 GPTBot、ClaudeBot。其中 ChatGPT-User 依 OpenAI 說明，因為是使用者發起的讀取，robots.txt 規則可能不適用。

「只在有廣告的頁面封鎖」這個選項，是給靠廣告收入的網站用的；一般店家網站沒放廣告聯播，選它等於沒擋。

要注意「訓練」這一格的最後一句。Cloudflare 文件寫得很清楚，從 2026 年 9 月 15 日起，同時做搜尋和訓練的混合用途爬蟲，會被所有「封鎖訓練」的設定一起擋掉。也就是說，擋訓練不再是零成本：有些 AI 搜尋是靠這種混合用途爬蟲讀網站的，你擋了訓練，它們也讀不到你。這是為什麼我們說「訓練隨你」，而不是「訓練請擋」。

擋了 AI 爬蟲，ChatGPT、Gemini 就找不到我的店嗎？

不一定，看是哪一家 AI：Gemini、Google AI 模式回答「附近哪家好」，主要讀的是 Google 地圖與商家檔案的資料，這些資料不在你的網站上，Cloudflare 的開關擋不到。但 ChatGPT 這類要靠自己的爬蟲讀你網站的 AI，如果搜尋和代理都被擋，就很難在回答裡提到你的網站、附上連結，或替客人即時查你的價格與營業時間。

所以「全部封鎖」的實際後果不是「從 AI 上消失」，而是「AI 只知道你的地圖資料，不知道你網站上寫的那些事」。哪些事？服務項目怎麼收費、哪些狀況不接、到府要不要加價、常見問題的答案。這些正是客人問 AI 時真正想知道的，也是 AI 決定「要不要點名你」時拿來比較的材料。

在地店家被 AI 點名的依據，客人問 AI「附近哪家好」那篇整理過 Google 文件的說法；簡單講，地圖資料決定你有沒有資格進名單，網站內容決定 AI 能不能講出你跟隔壁那家差在哪。

主機商問我要不要封鎖 AI 爬蟲，怎麼自己檢查？

自己檢查分三層：先看 robots.txt、再看 Cloudflare 的設定頁、最後用 Search Console 確認 Googlebot 沒事。這三層各管一段，任何一層有問題 AI 都可能讀不到你，而且很多老闆是網頁公司「順手」幫忙開的，自己完全不知道。

1. robots.txt。 在瀏覽器打你的網址加上 /robots.txt，例如 https://你的網域/robots.txt。看到 User-agent: GPTBot 下面接 Disallow: /，代表你告訴 ChatGPT 的訓練爬蟲「整站不要讀」；如果 User-agent: * 底下就是 Disallow: /，那是把所有爬蟲全擋，連 Google 都包括，要立刻處理。很多建站範本和資安外掛會預設把一排 AI 爬蟲寫成 Disallow，老闆通常沒被告知。
2. Cloudflare 後台。 robots.txt 只是「聲明」，Cloudflare 的封鎖是真的把請求擋在門外，這一層在 robots.txt 裡看不出來。登入 Cloudflare、進到該網域的安全性設定，看「Configure AI bot policies」三個類別目前各是什麼；如果還看到舊版單一開關「Block AI bots」，看它是不是開著。Cloudflare 的 AI Crawl Control（文件寫所有方案都有）會列出哪些 AI 爬蟲來過、哪些被擋，這是最直接的證據。網站是網頁公司代管的，就請他們截這兩個畫面給你。
3. Search Console 網址檢查。 把你的服務頁網址貼進去測試，確認 Googlebot 抓得到、頁面可以被收錄。這一步確認的是「Google 搜尋和 AI 摘要那條路沒斷」。

不確定自己看到的畫面代表什麼，可以直接用免費評估，我們會看網站的可爬性和 robots 設定，一次講清楚。

我怕內容被抄、被拿去訓練，但又想被 AI 推薦，有折衷做法嗎？

有，折衷做法就是「放行搜尋與代理、只擋訓練」，這正是 Cloudflare 把 AI 爬蟲分成三類的用意。但你要先想清楚，擋訓練防的是「AI 模型學了你的內容」，防不了同業把你的文案複製貼上，也防不了客人截圖。而且 9 月 15 日之後，擋訓練會連混合用途爬蟲一起擋，所以真的要擋，建議擋完回頭看 AI Crawl Control，確認你在意的 AI 搜尋還讀得到。

也可以更細。robots.txt 可以一家一家寫：例如只對 GPTBot、ClaudeBot 這兩個訓練用的名稱寫 Disallow、對其他爬蟲放行；Google 那邊只寫 Google-Extended 的 Disallow，就是「Google 搜尋照常、不給 Gemini 訓練」，但依 Google 文件，這也會讓 Gemini 應用程式回答當下不能拿你的內容當依據，擋之前要想清楚。Cloudflare 的 AI Crawl Control 依文件也支援對個別爬蟲設允許或封鎖。

最後給店家一個現實的判斷：對一家診所或工程行來說，「服務內容被拿去訓練」的實際損失很難說出來；「客人問 AI 時沒有你」的損失卻很具體。如果想不出擋訓練能替你擋掉什麼，那就先不要擋。

2026 年 9 月 Cloudflare 改了預設，舊網站要重看嗎？

要，尤其是還在用舊版單一開關「Block AI bots」的網站。依 Cloudflare 文件，2026 年 9 月 15 日起新網域的預設是：訓練與代理類在有廣告的頁面被擋、搜尋類放行；舊版的「Block AI bots」單一開關同日開始淘汰，而且從那天起，所有用來擋 AI 訓練的設定（包含這個舊開關）都會連混合用途爬蟲一起擋。

這代表兩件事。第一，如果你的網站是很久以前就開了「Block AI bots」，那時候它只擋訓練用爬蟲、不碰混合用途；現在同一個開關的範圍變大了，你沒改任何設定，被擋的 AI 卻變多了。第二，新網站的預設把「代理」類在有廣告的頁面擋掉，一般店家網站沒廣告所以不受影響，但如果你的網站有放廣告聯播，AI 就沒辦法即時替客人讀你的頁面。

實際做法：打開設定頁，把三個類別各自明確設成你要的（搜尋放行、代理放行、訓練依你的決定），不要留在「預設」或舊開關，這樣之後 Cloudflare 再改預設也不會影響你。這件事跟要不要退出 Google 的 AI 功能是兩個不同的決定，別混在一起。

robots.txt 裡擋 AI，跟 Cloudflare 開關擋 AI，差在哪？

robots.txt 和 Cloudflare 開關擋 AI，一個是聲明、一個是攔截，效力不同，管到的對象也不完全一樣。robots.txt 是貼在門口的「請勿進入」告示，守規矩的爬蟲會照做，但它擋不住不理告示的機器人；Cloudflare 的開關是門口的保全，直接不讓被它認出來的 AI 爬蟲進門。

差別整理：

最後一列很重要：很多店家的網站檔案是 A 公司管、Cloudflare 帳號是 B 公司開的，兩邊都可能「幫你」擋了 AI，而且互相不知道。檢查時兩層都要看。

還有一個常見誤會：Google-Extended 沒有自己的爬蟲身分，Google 是用原本的爬蟲來抓、再依 robots.txt 裡的 Google-Extended 規則決定內容能不能用於 Gemini。所以「用 Cloudflare 擋 Google 的 AI 訓練」這件事做不到，只能寫在 robots.txt。各家爬蟲擋了會怎樣，AI 摘要怎麼決定引用誰那篇有一張對照表。

下一步

想弄懂為什麼 AI 讀不讀得到你的網站會影響生意，先看GEO 是什麼；整套讓 AI 正確講出你公司的做法，整理在GEO 完整指南。

至於這個開關，順序是：先檢查現在的設定（robots.txt、Cloudflare 設定頁、Search Console），再依「搜尋放行、代理放行、訓練隨你」設好，然後每隔一段時間看一次 AI Crawl Control 有沒有你在意的 AI 被擋。來客旺自己的網站是全部放行，因為我們的內容就是要被找到、被引用的。