你是否曾在robots.txt逐間AI公司去封鎖(例如各自封鎖OpenAI、Anthropic的爬蟲),只為一個目標:不想自己的網站內容被拿去訓練AI模型?這種「一個供應商寫一行」的日子可能很快結束。Google於2026年10月30日宣布,計劃在2027年支援robots.txt中的「統一AI訓練控制」——用一個共同的政策標記(policy token),一次過向所有參與的AI供應商表達你的訓練偏好。對正在經營網站、又拿不定主意該不該阻止AI取用內容的香港企業,這是未來一年最值得留意的一項技術變動。
一、Google發生什麼事?
1. 用一個語句,取代「逐間公司去封鎖」
這項計劃是Google與其他AI供應商在IETF(全球網際網路標準制定組織)的AIPREF工作組合作的成果。現時網站要表達「不要用我的內容訓練AI」,往往要為每一間AI公司分別寫規則;新機制則在robots.txt加入一個統一識別為「__usage_ai-training」的user-agent政策標記,一次過向Google、微軟、OpenAI、Anthropic等參與供應商表達同一偏好。
Google強調,供應商既可用它來一口氣表達總體意願,也可繼而為個別公司「細調」——總體設定與公司專屬控制可以並存。參與的AI供應商同樣計劃於2027年開始實際處理這個新訊號。
2. 與現有Google-Extended的關係(最重要的一點)
Google自2023年起已有Google-Extended這個AI訓練控制。新統一標記的關鍵規則是:如果網站用統一標記表達「拒絕訓練」、但又沒有明確寫出Google-Extended,Google就會把這個設定自動視同「封鎖了Google-Extended」。反之,若網站明確允許Google-Extended,其內容除了可用於訓練,還符合資格在Gemini Apps的回應被引用(grounding)並帶來點擊。
要留意:Google-Extended並不影響網站出現在一般Google搜尋的索引與排名;AI Overviews和AI Mode是否顯示你的網站,是由Search Console中另一項「生成式AI」控制分開管理。換言之,阻擋AI訓練不等於你在Google搜尋的排名會受影響,兩者是不同的事。
3. 新訊號不控制爬取,且規範細節尚未公布
Google特別說明,這個統一標記只管「是否允許用於AI訓練」,不控制爬取——AI爬蟲仍可抓取頁面、用於建立索引。另外,統一標記的確切語法尚未在公告中公布,Google仍在與IETF工作組繼續發展提案,並須等待正式規範出爐後才可套用。微軟則是唯一會以新訊號取代網站現有控制(如NoArchive、NoCache)的供應商,其餘公司均表示既有控制繼續運作。
二、對香港中小企業的實際意義
- 這不是「今天就要改」的變更——確切語法未公布、供應商2027年才開始實際處理,現階段切勿在robots.txt胡亂加入任何統一訓練語句,應等正式規範發布後再處理
- 「阻擋AI訓練」和「Google排名」是兩回事——即使你決定不讓AI模型用你的內容訓練,也不影響你的內容在Google一般搜尋的曝光;反之亦然
- 「被AI引用」可以是流量來源——若你容許Google-Extended,內容有機會在Gemini Apps的回應被引用並帶來點擊,這是部分企業樂於爭取的曝光
- 別再把「封鎖所有AI」當成唯一答案——統一標記的好處正是讓你一分鐘做齊決定;但決定前應先想清楚內容策略,而非純粹因擔憂就全封
三、香港企業現在可以做什麼?
- 第一步:盤點現狀——先查看你現時的robots.txt,確認目前封鎖了哪些AI爬蟲、是否已設定Google-Extended,了解今天的實際狀態
- 第二步:寫下你的取捨——如果加上一行「拒絕AI訓練」語句,你最在意的是否只是「防止內容被複製去訓練」?若是,統一標記就是為你而設;若想保持內容被Gemini引用,則要容許Google-Extended
- 第三步:分開管理「搜尋」與「AI」——確認你的Search Console「生成式AI」控制設定,配合未來的統一標記,做到「該在搜尋曝光的保持曝光、該受保護的受保護」
- 第四步:留意正式規範——2027年供應商啟用前,規格必定會公布;屆時再按正式語法一次性加入,期間毋須急於動手
一句話總結:統一AI訓練控制把「要不要讓AI用我的內容訓練」的決定權,從十幾間公司的規則,濃縮成robots.txt裡一行看得懂、寫得清的語句。對香港中小企業而言,這不是要馬上去改設定的事件,卻是一個重新思考「網站內容到底該如何被AI使用」、釐清自己取捨的好時機——先在策略上想清楚,等規範一出即可從容執行。