---
title: "Cloudflare 問要不要封鎖 AI 爬蟲，店家該按「封鎖」嗎？"
description: "網站跳出「封鎖 AI 機器人」開關，店家該不該按？依 Cloudflare 與 Google 文件講清楚搜尋、代理、訓練三種爬蟲差在哪、Google 搜尋會不會受影響，以及怎麼自己檢查。"
url: "https://likewant.net/blog/cloudflare-block-ai-bots-should-i"
published: "2026-09-23"
modified: "2026-09-26"
reviewed: "2026-09-26"
author: "張耐德"
author_url: "https://nedc.tw/"
publisher: "來客旺"
language: "zh-TW"
sources:
  - title: "Google 搜尋中心：AI 功能與你的網站（AI Overviews、AI Mode）"
    url: "https://developers.google.com/search/docs/appearance/ai-features"
  - title: "Google 搜尋中心：Google 常見檢索器（含 Google-Extended 說明）"
    url: "https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers"
  - title: "Google 搜尋中心：robots.txt 簡介"
    url: "https://developers.google.com/search/docs/crawling-indexing/robots/intro"
  - title: "Cloudflare 文件：Block AI Bots（AI 爬蟲政策設定與 2026 年 9 月 15 日新預設）"
    url: "https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/"
  - title: "Cloudflare 文件：AI Crawl Control"
    url: "https://developers.cloudflare.com/ai-crawl-control/"
  - title: "OpenAI：爬蟲說明（GPTBot / OAI-SearchBot / ChatGPT-User）"
    url: "https://developers.openai.com/api/docs/bots"
  - title: "Anthropic：爬蟲說明（ClaudeBot / Claude-User / Claude-SearchBot）"
    url: "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler"
---

# Cloudflare 問要不要封鎖 AI 爬蟲，店家該按「封鎖」嗎？

網站跳出「封鎖 AI 機器人」開關，店家該不該按？依 Cloudflare 與 Google 文件講清楚搜尋、代理、訓練三種爬蟲差在哪、Google 搜尋會不會受影響，以及怎麼自己檢查。

## 先講結論

Cloudflare 的「封鎖 AI 機器人」是一組在網站前面攔截 AI 爬蟲的開關，依 Cloudflare 文件把 AI 爬蟲分成搜尋、代理、訓練三種用途，各自可設全站封鎖、只在有廣告的頁面封鎖或放行；它管的是爬蟲能不能讀到你的網頁，跟 robots.txt 的「請勿讀取」聲明是兩層不同的東西。

- Cloudflare 的「封鎖 AI 機器人」開關依用途分成搜尋、代理、訓練三類，店家型網站建議放行搜尋與代理，訓練那一類要不要擋由自己決定，不要全部封鎖。
- Google 搜尋與 AI 摘要走 Googlebot，不是這個開關的目標；robots.txt 裡的 Google-Extended 標記管 Gemini 的訓練與 Gemini 應用程式回答時的參考，不影響搜尋收錄與排名。
- 依 Cloudflare 文件，2026 年 9 月 15 日起所有封鎖 AI 訓練的設定都會連同時做搜尋與訓練的混合用途爬蟲一起擋，擋訓練不再是零成本。
- 自己檢查有沒有被擋分三層：看網址後面加 /robots.txt、看 Cloudflare 後台的 AI 爬蟲設定與 AI Crawl Control、用 Search Console 網址檢查確認 Googlebot 抓得到。
- robots.txt 是靠爬蟲自律的聲明，Cloudflare 開關是直接攔截；Google-Extended 沒有獨立的爬蟲身分，只能在 robots.txt 控制，Cloudflare 擋不到。

## Cloudflare 封鎖 AI 爬蟲要不要開？

Cloudflare 封鎖 AI 爬蟲的開關，店家不要為了安心就按「全部封鎖」：「搜尋」和「代理」這兩類放行，「訓練」那一類要不要擋看你自己。原因很簡單，你開店的目的是讓客人找到你，而現在越來越多客人是問 ChatGPT、Gemini「附近哪家好」，AI 讀不到你的網站，就沒辦法在回答裡描述你、附你的連結。

所以主機商問你要不要封鎖 AI 爬蟲時，先看清楚它問的是哪一類，再回答。這個開關聽起來像資安保護，實際上它決定的是「AI 能不能讀你的網頁」。對媒體、出版社來說，內容本身就是商品，擋訓練有道理；對一家水電行、牙醫診所、搬家公司來說，網頁內容是名片，越多人（和 AI）讀到越好。這是兩種完全不同的生意，不能套同一個答案。

![客人上門的三條路並排：第一條是 Google 地圖與商家檔案，第二條是粉專與社群，第三條是自己的網站；每條路各有客人走進來的方式，網站那條路要靠頁面能被讀到。](https://likewant.net/images/diagrams/three-roads.svg)

*圖：Cloudflare 的開關只站在「網站」這條路的門口；地圖與商家檔案那條路在 Google 那邊，它擋不到，但客人問 AI 的細節問題，多半要靠網站這條路回答。*

先講一件會讓你安心一點的事：Google 搜尋和 Google 的 AI 摘要走的是 Googlebot，這個開關針對的是 AI 用途的爬蟲，不是 Googlebot（後面會講怎麼確認）。所以這個開關真正影響的，是 ChatGPT 這類非 Google 的 AI，以及 AI 替客人即時去你網站查資料的那條路。

## Cloudflare 擋 AI 機器人，會影響 Google 搜尋嗎？

不會，這個開關不是用來擋 Googlebot 的，Google 搜尋和 AI 摘要不會因為你開了它就消失。依 Cloudflare 文件，「封鎖 AI 機器人」擋的是 Cloudflare 判定為 AI 用途的爬蟲，包括它驗證過身分的 AI 爬蟲，加上一批行為類似但沒驗證的機器人。

不過 Google 官方文件在 AI 功能的 SEO 建議裡，第一條就是「確認 robots.txt 以及任何 CDN 或主機設施都允許爬取」，等於直接提醒：CDN 這一層的封鎖設定，是 Google 看過有人設錯的地方。

Google 的說法值得記住一句：AI 是內建在搜尋裡的，所以 Googlebot 在 robots.txt 的規則，就是網站控制自己在搜尋（含 AI 摘要、AI 模式）裡怎麼被讀取的方式。想控制 Google 拿內容去訓練 Gemini，以及 Gemini 應用程式回答當下能不能拿你的內容當依據，用的是另一個叫 Google-Extended 的標記，Google 明說它不影響搜尋收錄，也不是排名訊號。

整理成一句話：Cloudflare 的開關擋「AI 爬蟲」，Google 搜尋的開關在 robots.txt 的 Googlebot 規則，兩者不是同一個東西。如果你發現 Google 搜尋出問題，多半不是這個開關，而是 Cloudflare 其他的機器人防護規則或主機設定，要用 Search Console 的網址檢查去看 Googlebot 能不能抓到。

## AI 爬蟲分「搜尋」「代理」「訓練」三種，店家該擋哪一種？

依 Cloudflare 文件的分類，AI 爬蟲分成搜尋（Search）、代理（Agent）、訓練（Training）三種用途，店家型網站建議放行前兩種，第三種看你介不介意內容被拿去訓練模型。三種各自可以設「全站封鎖」「只在有廣告的頁面封鎖」「放行」，設定位置在 Cloudflare 後台該網域的安全性設定裡，叫「Configure AI bot policies」。

三種用途對店家的意思：

| 用途 | Cloudflare 的定義（白話） | 對店家的影響 | 建議 |
|---|---|---|---|
| 搜尋 Search | 先把你的內容收起來，之後有人問相關問題時拿出來回答 | ChatGPT 搜尋這類功能要靠它才會附你的連結 | 放行 |
| 代理 Agent | AI 當下替使用者去讀你的網頁，例如聊天時即時查資料、替人操作瀏覽器 | 客人問「這家假日有沒有開」時，AI 要當場去看你的頁面 | 放行 |
| 訓練 Training | 把內容拿去訓練或微調模型；也包含同時做搜尋和訓練的「混合用途」爬蟲 | 擋了不影響 Google 搜尋，但混合用途爬蟲會一起被擋 | 隨你 |

這三類各有哪些爬蟲，依各家自己的說明可以舉幾個例子（這是 OpenAI 與 Anthropic 對自家爬蟲的描述，不是 Cloudflare 的分類清單）：負責搜尋的有 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot；使用者提問時當下替人讀網頁的有 ChatGPT-User、Claude-User；拿內容去訓練模型的有 GPTBot、ClaudeBot。其中 ChatGPT-User 依 OpenAI 說明，因為是使用者發起的讀取，robots.txt 規則可能不適用。

「只在有廣告的頁面封鎖」這個選項，是給靠廣告收入的網站用的；一般店家網站沒放廣告聯播，選它等於沒擋。

要注意「訓練」這一格的最後一句。Cloudflare 文件寫得很清楚，從 2026 年 9 月 15 日起，同時做搜尋和訓練的混合用途爬蟲，會被所有「封鎖訓練」的設定一起擋掉。也就是說，擋訓練不再是零成本：有些 AI 搜尋是靠這種混合用途爬蟲讀網站的，你擋了訓練，它們也讀不到你。這是為什麼我們說「訓練隨你」，而不是「訓練請擋」。

## 擋了 AI 爬蟲，ChatGPT、Gemini 就找不到我的店嗎？

不一定，看是哪一家 AI：Gemini、Google AI 模式回答「附近哪家好」，主要讀的是 Google 地圖與商家檔案的資料，這些資料不在你的網站上，Cloudflare 的開關擋不到。但 ChatGPT 這類要靠自己的爬蟲讀你網站的 AI，如果搜尋和代理都被擋，就很難在回答裡提到你的網站、附上連結，或替客人即時查你的價格與營業時間。

![三階樓梯示意客人找到你的三種搜法：第一層搜店名，靠 Google 地圖的店家資料；第二層搜「地區＋服務」，網站要有那一頁；第三層搜客人的具體問題，一題一頁。越往上客人越多，但越不認識你。](https://likewant.net/images/diagrams/found-three-layers.svg)

*圖：地圖資料接得住前兩層；客人問 AI 的具體問題（第三層），要靠網站上那一頁被 AI 讀到，全部封鎖就是把這一層關掉。*

所以「全部封鎖」的實際後果不是「從 AI 上消失」，而是「AI 只知道你的地圖資料，不知道你網站上寫的那些事」。哪些事？服務項目怎麼收費、哪些狀況不接、到府要不要加價、常見問題的答案。這些正是客人問 AI 時真正想知道的，也是 AI 決定「要不要點名你」時拿來比較的材料。

在地店家被 AI 點名的依據，[客人問 AI「附近哪家好」那篇](https://likewant.net/blog/local-shop-in-ai-recommendations)整理過 Google 文件的說法；簡單講，地圖資料決定你有沒有資格進名單，網站內容決定 AI 能不能講出你跟隔壁那家差在哪。

## 主機商問我要不要封鎖 AI 爬蟲，怎麼自己檢查？

自己檢查分三層：先看 robots.txt、再看 Cloudflare 的設定頁、最後用 Search Console 確認 Googlebot 沒事。這三層各管一段，任何一層有問題 AI 都可能讀不到你，而且很多老闆是網頁公司「順手」幫忙開的，自己完全不知道。

1. **robots.txt。** 在瀏覽器打你的網址加上 `/robots.txt`，例如 `https://你的網域/robots.txt`。看到 `User-agent: GPTBot` 下面接 `Disallow: /`，代表你告訴 ChatGPT 的訓練爬蟲「整站不要讀」；如果 `User-agent: *` 底下就是 `Disallow: /`，那是把所有爬蟲全擋，連 Google 都包括，要立刻處理。很多建站範本和資安外掛會預設把一排 AI 爬蟲寫成 Disallow，老闆通常沒被告知。
2. **Cloudflare 後台。** robots.txt 只是「聲明」，Cloudflare 的封鎖是真的把請求擋在門外，這一層在 robots.txt 裡看不出來。登入 Cloudflare、進到該網域的安全性設定，看「Configure AI bot policies」三個類別目前各是什麼；如果還看到舊版單一開關「Block AI bots」，看它是不是開著。Cloudflare 的 AI Crawl Control（文件寫所有方案都有）會列出哪些 AI 爬蟲來過、哪些被擋，這是最直接的證據。網站是網頁公司代管的，就請他們截這兩個畫面給你。
3. **Search Console 網址檢查。** 把你的服務頁網址貼進去測試，確認 Googlebot 抓得到、頁面可以被收錄。這一步確認的是「Google 搜尋和 AI 摘要那條路沒斷」。

不確定自己看到的畫面代表什麼，可以直接用[免費評估](https://likewant.net/assessment)，我們會看網站的可爬性和 robots 設定，一次講清楚。

## 我怕內容被抄、被拿去訓練，但又想被 AI 推薦，有折衷做法嗎？

有，折衷做法就是「放行搜尋與代理、只擋訓練」，這正是 Cloudflare 把 AI 爬蟲分成三類的用意。但你要先想清楚，擋訓練防的是「AI 模型學了你的內容」，防不了同業把你的文案複製貼上，也防不了客人截圖。而且 9 月 15 日之後，擋訓練會連混合用途爬蟲一起擋，所以真的要擋，建議擋完回頭看 AI Crawl Control，確認你在意的 AI 搜尋還讀得到。

也可以更細。robots.txt 可以一家一家寫：例如只對 GPTBot、ClaudeBot 這兩個訓練用的名稱寫 Disallow、對其他爬蟲放行；Google 那邊只寫 Google-Extended 的 Disallow，就是「Google 搜尋照常、不給 Gemini 訓練」，但依 Google 文件，這也會讓 Gemini 應用程式回答當下不能拿你的內容當依據，擋之前要想清楚。Cloudflare 的 AI Crawl Control 依文件也支援對個別爬蟲設允許或封鎖。

最後給店家一個現實的判斷：對一家診所或工程行來說，「服務內容被拿去訓練」的實際損失很難說出來；「客人問 AI 時沒有你」的損失卻很具體。如果想不出擋訓練能替你擋掉什麼，那就先不要擋。

## 2026 年 9 月 Cloudflare 改了預設，舊網站要重看嗎？

要，尤其是還在用舊版單一開關「Block AI bots」的網站。依 Cloudflare 文件，2026 年 9 月 15 日起新網域的預設是：訓練與代理類在有廣告的頁面被擋、搜尋類放行；舊版的「Block AI bots」單一開關同日開始淘汰，而且從那天起，所有用來擋 AI 訓練的設定（包含這個舊開關）都會連混合用途爬蟲一起擋。

這代表兩件事。第一，如果你的網站是很久以前就開了「Block AI bots」，那時候它只擋訓練用爬蟲、不碰混合用途；現在同一個開關的範圍變大了，你沒改任何設定，被擋的 AI 卻變多了。第二，新網站的預設把「代理」類在有廣告的頁面擋掉，一般店家網站沒廣告所以不受影響，但如果你的網站有放廣告聯播，AI 就沒辦法即時替客人讀你的頁面。

實際做法：打開設定頁，把三個類別各自明確設成你要的（搜尋放行、代理放行、訓練依你的決定），不要留在「預設」或舊開關，這樣之後 Cloudflare 再改預設也不會影響你。這件事跟[要不要退出 Google 的 AI 功能](https://likewant.net/blog/should-i-opt-out-of-google-ai-features)是兩個不同的決定，別混在一起。

## robots.txt 裡擋 AI，跟 Cloudflare 開關擋 AI，差在哪？

robots.txt 和 Cloudflare 開關擋 AI，一個是聲明、一個是攔截，效力不同，管到的對象也不完全一樣。robots.txt 是貼在門口的「請勿進入」告示，守規矩的爬蟲會照做，但它擋不住不理告示的機器人；Cloudflare 的開關是門口的保全，直接不讓被它認出來的 AI 爬蟲進門。

差別整理：

| | robots.txt | Cloudflare 封鎖 AI 開關 |
|---|---|---|
| 性質 | 聲明，靠爬蟲自律 | 攔截，請求直接被擋 |
| 精細度 | 可逐一指定爬蟲、指定目錄 | 依三種用途分類設定；AI Crawl Control 可逐一 |
| 管得到 Google-Extended 嗎 | 可以，它就是 robots.txt 的標記 | 擋不到，Google 文件說它沒有獨立的爬蟲身分 |
| 在哪裡看 | 你的網址/robots.txt，任何人都看得到 | 只有 Cloudflare 後台看得到 |
| 誰能改 | 網站檔案的管理者 | Cloudflare 帳號的管理者 |

最後一列很重要：很多店家的網站檔案是 A 公司管、Cloudflare 帳號是 B 公司開的，兩邊都可能「幫你」擋了 AI，而且互相不知道。檢查時兩層都要看。

還有一個常見誤會：Google-Extended 沒有自己的爬蟲身分，Google 是用原本的爬蟲來抓、再依 robots.txt 裡的 Google-Extended 規則決定內容能不能用於 Gemini。所以「用 Cloudflare 擋 Google 的 AI 訓練」這件事做不到，只能寫在 robots.txt。各家爬蟲擋了會怎樣，[AI 摘要怎麼決定引用誰](https://likewant.net/blog/ai-overviews-citation-sources)那篇有一張對照表。

## 下一步

想弄懂為什麼 AI 讀不讀得到你的網站會影響生意，先看[GEO 是什麼](https://likewant.net/blog/what-is-geo)；整套讓 AI 正確講出你公司的做法，整理在[GEO 完整指南](https://likewant.net/geo)。

至於這個開關，順序是：先檢查現在的設定（robots.txt、Cloudflare 設定頁、Search Console），再依「搜尋放行、代理放行、訓練隨你」設好，然後每隔一段時間看一次 AI Crawl Control 有沒有你在意的 AI 被擋。來客旺自己的網站是全部放行，因為我們的內容就是要被找到、被引用的。

## 這篇的常見問題

### 我的網站沒有放在 Cloudflare，也會遇到「封鎖 AI 爬蟲」的問題嗎？

會。很多主機商、資安外掛、建站平台也有類似的開關或預設，只是名字不同；有的直接在 robots.txt 幫你寫一排 Disallow，有的在主機端攔截。檢查方式一樣：先看你的網址加 /robots.txt，再問代管的公司有沒有在主機或防火牆層擋 AI 爬蟲，兩層都要確認。

### 按了封鎖之後才後悔，改回來以後 AI 多久會重新讀到我的網站？

設定改成放行後，爬蟲下一次來就能讀到，但「下一次」是幾天還是幾週，由各家 AI 自己決定，沒有人能承諾；讀到之後要不要在回答裡引用你，也是各家 AI 的判斷。改回來之後可以在 Cloudflare 的 AI Crawl Control 看有沒有爬蟲成功進來，當作確認。

### 「只在有廣告的頁面封鎖」這個選項，跟一般店家有關係嗎？

多半沒有。這個選項是給靠廣告收入的網站用的，Cloudflare 會自動判斷哪些頁面有顯示廣告，只在那些頁面擋。一般店家的服務網站沒有放廣告聯播，選了等於沒擋；如果你的網站真的有放廣告，這個選項就會讓 AI 讀不到那些頁面，要自己衡量。

### 我可以只擋某一家 AI，例如只擋 ChatGPT 的訓練爬蟲嗎？

可以。robots.txt 可以一家一家寫，例如只對 GPTBot 寫 Disallow、其他爬蟲照常放行；Cloudflare 的 AI Crawl Control 依文件也可以對個別爬蟲設允許或封鎖。比「全部封鎖」的單一開關精細得多，但設完要記得回頭確認你在意的 AI 搜尋還讀得到。

### 用 robots.txt 擋 AI 好嗎？

不一定，看擋的是哪一種：OAI-SearchBot、Claude-SearchBot 這類搜尋用的爬蟲擋了，AI 搜尋就很難在回答裡提到你的網站、附上連結；GPTBot、ClaudeBot 這類訓練用的要不要擋，看你介不介意內容被拿去訓練模型。robots.txt 可以一家一家寫，但它只是聲明，守規矩的爬蟲會照做，擋不住不理告示的機器人。

題目由張耐德（SEO 策略負責人）決定，內文由 AI 協助撰寫，上線前由本人讀過、查證。 本文為一般性說明，不構成對特定排名、流量或營收的承諾；SEO 需要時間累積。