今天生效:Cloudflare對Googlebot的AI封鎖全面升級
2026年9月15日,即今天,Cloudflare正式更新了其AI爬蟲封鎖政策。新政策的核心變更如下:
- Googlebot和Bingbot被重新分類:Cloudflare現在將這兩種爬蟲同時視為「搜尋索引爬蟲」和「AI訓練數據採集爬蟲」
- AI封鎖設定涵蓋搜尋爬蟲:任何設定為封鎖AI訓練的網站,現在也會自動封鎖Googlebot和Bingbot——包括舊的「封鎖AI爬蟲」開關
- 網站主需要重新權衡:如果你原本只想防止AI公司訓練你的數據,但同時希望Google繼續索引你的網站,現在你可能需要做出選擇
這項變更的背後是AI訓練數據版權爭議的日益白熱化。Cloudflare的立場是:一個爬蟲要麼同時做搜尋索引和AI訓練,要麼兩者都做不了。Google和微軟的爬蟲無法再以「我們只做搜尋索引」為由繞過AI封鎖設定。
這對香港網站主的實際影響
如果你使用Cloudflare且曾開啟AI封鎖
許多香港企業使用Cloudflare作為CDN和安全服務。如果你之前曾開啟過「封鎖AI爬蟲」功能,那麼從今天開始,你的網站可能正在無意中阻止Googlebot對你的網站進行索引。
這意味著:你在Google搜尋結果中的排名和曝光可能突然下降。如果你注意到今天開始排名下滑,第一步不是去檢查演算法更新,而是檢查你的Cloudflare設定。
行動清單:今天必須做的事
- 登入Cloudflare後台,前往「安全性」→「爬蟲」設定
- 檢查「封鎖AI爬蟲」開關是否開啟——如果開啟,你現在也在封鎖Googlebot
- 決定你的策略:
- 如果SEO排名對你的業務至關重要 → 關閉AI封鎖,或使用更精細的robots.txt規則來控制
- 如果你高度關注內容版權保護 → 接受SEO影響,並尋找替代的流量來源
- 檢查robots.txt:確保你對Googlebot的規則意圖清晰。Cloudflare的變更不影響robots.txt——你仍然可以通過robots.txt來精細控制Googlebot的具體行為
Google AI貢獻付費試點:內容終於有價?
與Cloudflare的強硬路線同時發生的,是Google正在測試的AI貢獻付費試點(AI Contribution Pilot)。這個試點最早在2026年4月被發現,但直到9月14日才由Search Engine Roundtable披露更多細節。
Google正在對少數出版商進行小規模測試,付費使用他們的內容出現在AI Overviews、AI Mode和Gemini中。這與之前Google單純使用內容來生成AI答案而不付費的模式形成對比。
試點模式的關鍵要素
- 選擇加入制:出版商可以選擇是否參與,而不是被動接受
- 內容使用範圍:涵蓋AI Overviews、AI Mode和Gemini等多個AI功能
- 目前僅限大型出版商:試點規模很小,主要面向大型媒體機構
兩個事件之間的矛盾與香港企業的定位
Cloudflare的變更和Google的付費試點看似彼此矛盾,但實際上反映了AI內容時代的兩個平行趨勢:
趨勢一:內容保護主義抬頭。Cloudflare的變更代表了網站主保護內容不被AI「免費掠奪」的需求。如果你的內容獨特且難以替代,採取保護措施是合理的——但付出的代價是搜尋可見度。
趨勢二:內容價值被重新肯定。Google開始付費使用內容,說明即使Google也意識到:沒有優質的原創內容,AI搜尋就沒有意義。內容的價值正在從「流量工具」回歸到商業資產的本質。
香港中小企的務實策略
1. 如果排名是你的主要流量來源
對於大多數依賴Google自然搜尋的香港中小企業(如本地服務商、零售店、B2B公司),建議關閉Cloudflare的AI封鎖功能。你更需要的不是封鎖AI訓練,而是讓Google完全索引你的網站。你可以通過傳統的robots.txt來精細控制爬蟲行為,而不是一刀切的封鎖。
2. 如果你的內容是核心商業資產
對於高價值原創內容為核心業務的網站(如付費內容平台、獨家數據網站),可以考慮:
- 保留Cloudflare的AI封鎖,但為Googlebot single out 一個例外——使用Cloudflare的WAF規則或Page Rule來區分對待
- 密切關注Google AI貢獻試點的擴大動態——如果試點擴大到中小型網站,你可能可以從授權內容中獲得收入
- 開始建立多元化的流量來源:電子郵件通訊、社交媒體、直接流量
3. 長遠策略:內容的價值主張
無論你是選擇開放還是封鎖你的內容,內容本身的質量才是真正的決定因素。開放但低質量的內容不會帶來排名,封鎖但平庸的內容也不會獲得付費授權。對香港中小企業來說,最佳策略始終是:專注於產出真正有價值的、針對本地市場的、你的競爭對手無法複製的內容。
總結:兩個事件標誌著AI內容時代的轉折點
2026年9月15日這一天,如果只記一件事,那就是:網站內容的價值正在被重新定義。Cloudflare說你的內容有價值,值得保護;Google說你的內容有價值,願意付費。兩者都指向同一個結論——你的網站內容不是免費的資源。
但問題是,這兩種保護機制彼此衝突。香港中小企業需要在「被Google索引」和「不被AI訓練」之間找到屬於自己的平衡點。