Google預告統一AI訓練控制:單一robots.txt指令一次封鎖所有AI

現在想阻止AI公司用你的網站內容訓練模型,你要逐間AI供應商設定封鎖指令——Google-Extended一封、OpenAI一條、Anthropic又一條……非常麻煩。Google剛剛預告了一個重大改變:未來只需在robots.txt寫一次,就能統一告訴所有AI供應商你的訓練偏好。

2026年10月30日,Google Search Central部落格由John Mueller發布文章,宣布計劃支援一個共享的AI訓練控制(shared AI training control)。這項機制源自IETF(互聯網工程任務小組)的AIPREF工作小組,目標是讓網站在單一步驟中,向多個AI供應商表達其AI訓練偏好。以下是重點與對香港企業的意義。

一、這項新機制是做什麼的?

1. 從「逐間設定」變成「一次設定」

目前,網站若要拒絕AI訓練,需要為每個AI供應商分別撰寫指令——對Google用Google-Extended,對其他供應商要用各自的user-agent。Google自2023年起提供Google-Extended作為AI訓練控制,但整體管理繁瑣。

新的做法是:在robots.txt使用一個共享的『政策權杖』(policy token),即可跨越所有參與的AI供應商,設定廣泛的訓練偏好。網站可以一次過選擇「全部封鎖」,或「逐一揀選」允許的供應商。

2. Google會如何解讀?

關鍵解讀規則:當網站在robots.txt使用此政策權杖選擇退出訓練,且沒有明確指定Google-Extended時,Google會將其視為等同於封鎖Google-Extended。其他AI供應商亦可類似處理,讓網站擁有者可以跨供應商一致地決定。

3. 原有指令仍然有效

既有針對個別公司的控制(如Google-Extended)會繼續與這項新訊號並行運作。網站可以先用產業訊號表達廣泛選擇,再針對特定AI開發者(例如Google)精細調整。特別注意:明確允許Google-Extended的網站,才有資格在Gemini Apps的grounding回應中出現並獲得點擊流量。

二、背景:為何現在要統一?

這項提案反映了出版商、公民社會團體、監管機構與其他持分者對「產業級AI訓練控制」的呼籲。它亦與歐盟AI法案下的通用AI實務守則一致——該守則承認robots.txt是網頁出版商表達機器可讀偏好的主要方法。Google表示目標是在2027年與其他AI供應商一同支援這項控制。

對企業而言,這意味著:AI訓練的「退出」機制正從各自為政走向標準化——內容擁有者的控制權和一次設定的便利性都在提高。

三、對香港中小企業的實際意義

你應該知道的實務重點

四、香港企業現在可以做什麼?

AI訓練控制走向標準化,對網站擁有者其實是「釋放」——不必再逐一應付每間AI公司。但真正重要的始終是思考清楚:你的內容,你想讓AI如何使用?以及你的robots.txt有沒有被妥善管理。

想確保您的robots.txt與網站架構符合最新AI與搜尋趨勢?

香港專業SEO公司助您妥善管理AI訓練控制,同時穩守Google搜尋排名

立即免費諮詢