現在想阻止AI公司用你的網站內容訓練模型,你要逐間AI供應商設定封鎖指令——Google-Extended一封、OpenAI一條、Anthropic又一條……非常麻煩。Google剛剛預告了一個重大改變:未來只需在robots.txt寫一次,就能統一告訴所有AI供應商你的訓練偏好。
2026年10月30日,Google Search Central部落格由John Mueller發布文章,宣布計劃支援一個共享的AI訓練控制(shared AI training control)。這項機制源自IETF(互聯網工程任務小組)的AIPREF工作小組,目標是讓網站在單一步驟中,向多個AI供應商表達其AI訓練偏好。以下是重點與對香港企業的意義。
一、這項新機制是做什麼的?
1. 從「逐間設定」變成「一次設定」
目前,網站若要拒絕AI訓練,需要為每個AI供應商分別撰寫指令——對Google用Google-Extended,對其他供應商要用各自的user-agent。Google自2023年起提供Google-Extended作為AI訓練控制,但整體管理繁瑣。
新的做法是:在robots.txt使用一個共享的『政策權杖』(policy token),即可跨越所有參與的AI供應商,設定廣泛的訓練偏好。網站可以一次過選擇「全部封鎖」,或「逐一揀選」允許的供應商。
2. Google會如何解讀?
關鍵解讀規則:當網站在robots.txt使用此政策權杖選擇退出訓練,且沒有明確指定Google-Extended時,Google會將其視為等同於封鎖Google-Extended。其他AI供應商亦可類似處理,讓網站擁有者可以跨供應商一致地決定。
3. 原有指令仍然有效
既有針對個別公司的控制(如Google-Extended)會繼續與這項新訊號並行運作。網站可以先用產業訊號表達廣泛選擇,再針對特定AI開發者(例如Google)精細調整。特別注意:明確允許Google-Extended的網站,才有資格在Gemini Apps的grounding回應中出現並獲得點擊流量。
二、背景:為何現在要統一?
這項提案反映了出版商、公民社會團體、監管機構與其他持分者對「產業級AI訓練控制」的呼籲。它亦與歐盟AI法案下的通用AI實務守則一致——該守則承認robots.txt是網頁出版商表達機器可讀偏好的主要方法。Google表示目標是在2027年與其他AI供應商一同支援這項控制。
對企業而言,這意味著:AI訓練的「退出」機制正從各自為政走向標準化——內容擁有者的控制權和一次設定的便利性都在提高。
三、對香港中小企業的實際意義
你應該知道的實務重點
- 先想清楚你的AI訓練立場——你是否接受網站內容被AI模型用來訓練?這是一個商業判斷,不同企業答案不同
- 理解「封鎖訓練」與「被封索引」是兩回事——
Google-Extended及未來的政策權杖控制的是「是否被用作AI訓練資料」,與你的頁面能否在Google搜尋中排名無關;封鎖AI訓練不代表會被降權或移除 - 權衡AI可見度——若允許
Google-Extended,網站有機會在Gemini Apps的grounding回應中出現並取得點擊;對想爭取AI世代流量的企業,這是值得考慮的選項 - 不要亂改robots.txt——robots.txt的語法容易出錯,寫錯可能誤封正常Googlebot抓取,直接拖累整個網站的索引與排名;重大改動前應先測試
- 留意2027年更新——Google目標在2027年與其他AI供應商共同支援此控制;屆時robots.txt的寫法可能改變,香港企業宜保持關注
四、香港企業現在可以做什麼?
- 第一步:盤點現有robots.txt——查看目前是否已使用
Google-Extended、GPTBot等AI抓取器的控制指令,並確認沒有意外誤封正常抓取 - 第二步:作出立場決定——以紙筆寫下貴公司的AI訓練立場(全封鎖/全部允許/揀選供應商),並讓相關同事達成共識
- 第三步:評估AI流量價值——若你的業務值得爭取Gemini等AI輔助搜尋的曝光,可明確允許
Google-Extended;若主要內容屬商業機密或高價值資料,則考慮封鎖 - 第四步:與SEO顧問核對——實驗性訊號(新政策權杖)與複雜robots.txt改動,最好交由熟悉技術SEO的專業人員處理,避免寫法出錯
AI訓練控制走向標準化,對網站擁有者其實是「釋放」——不必再逐一應付每間AI公司。但真正重要的始終是思考清楚:你的內容,你想讓AI如何使用?以及你的robots.txt有沒有被妥善管理。