Google將支援『統一AI訓練控制』:2027年一個robots.txt語句決定所有AI供應商能否用你的內容訓練模型

你是否曾在robots.txt逐間AI公司去封鎖(例如各自封鎖OpenAI、Anthropic的爬蟲),只為一個目標:不想自己的網站內容被拿去訓練AI模型?這種「一個供應商寫一行」的日子可能很快結束。Google於2026年10月30日宣布,計劃在2027年支援robots.txt中的「統一AI訓練控制」——用一個共同的政策標記(policy token),一次過向所有參與的AI供應商表達你的訓練偏好。對正在經營網站、又拿不定主意該不該阻止AI取用內容的香港企業,這是未來一年最值得留意的一項技術變動。

一、Google發生什麼事?

1. 用一個語句,取代「逐間公司去封鎖」

這項計劃是Google與其他AI供應商在IETF(全球網際網路標準制定組織)的AIPREF工作組合作的成果。現時網站要表達「不要用我的內容訓練AI」,往往要為每一間AI公司分別寫規則;新機制則在robots.txt加入一個統一識別為「__usage_ai-training」的user-agent政策標記,一次過向Google、微軟、OpenAI、Anthropic等參與供應商表達同一偏好。

Google強調,供應商既可用它來一口氣表達總體意願,也可繼而為個別公司「細調」——總體設定與公司專屬控制可以並存。參與的AI供應商同樣計劃於2027年開始實際處理這個新訊號。

2. 與現有Google-Extended的關係(最重要的一點)

Google自2023年起已有Google-Extended這個AI訓練控制。新統一標記的關鍵規則是:如果網站用統一標記表達「拒絕訓練」、但又沒有明確寫出Google-Extended,Google就會把這個設定自動視同「封鎖了Google-Extended」。反之,若網站明確允許Google-Extended,其內容除了可用於訓練,還符合資格在Gemini Apps的回應被引用(grounding)並帶來點擊。

要留意:Google-Extended並不影響網站出現在一般Google搜尋的索引與排名;AI Overviews和AI Mode是否顯示你的網站,是由Search Console中另一項「生成式AI」控制分開管理。換言之,阻擋AI訓練不等於你在Google搜尋的排名會受影響,兩者是不同的事。

3. 新訊號不控制爬取,且規範細節尚未公布

Google特別說明,這個統一標記只管「是否允許用於AI訓練」,不控制爬取——AI爬蟲仍可抓取頁面、用於建立索引。另外,統一標記的確切語法尚未在公告中公布,Google仍在與IETF工作組繼續發展提案,並須等待正式規範出爐後才可套用。微軟則是唯一會以新訊號取代網站現有控制(如NoArchive、NoCache)的供應商,其餘公司均表示既有控制繼續運作。

二、對香港中小企業的實際意義

三、香港企業現在可以做什麼?

一句話總結:統一AI訓練控制把「要不要讓AI用我的內容訓練」的決定權,從十幾間公司的規則,濃縮成robots.txt裡一行看得懂、寫得清的語句。對香港中小企業而言,這不是要馬上去改設定的事件,卻是一個重新思考「網站內容到底該如何被AI使用」、釐清自己取捨的好時機——先在策略上想清楚,等規範一出即可從容執行。

想釐清AI內容策略,並確保網站技術設定跟得上搜尋趨勢?

香港專業SEO公司助您審視robots.txt與內容設定,在AI搜尋時代兼顧曝光與保護

立即免費諮詢