很多香港網站管理者都以為只要在robots.txt寫上幾行，就能完全控制Google和AI公司「用不用的內容」。事實並非如此。Google Search Relations團隊在2026年10月發布的「The Non-Canonical Cabinet」影片系列第二集中，由Gary Illyes和Cherry Prommawin親自釐清了robots.txt的真正界限，並給了非英文網站一個重要的實務提醒。
一、robots.txt 到底管什麼？
根據互聯網標準RFC 9309，robots.txt是一個「存取偏好協定（access preference protocol）」——它只決定哪些URL可以被搜尋引擎或AI爬蟲要求抓取，但並不規範內容在抓取之後會被怎麼使用。Illyes明確表示：「規則只管爬蟲能不能來，不管它抓走後做的事。」
換句話說，就算你在robots.txt允許某個AI爬蟲進來，這份檔案本身並不能保證你的內容不會被用於AI模型訓練。如果你想徹底封鎖某個特定的AI爬蟲，就必須在檔案中明確指定該爬蟲的User-Agent權杖（例如GPTBot、Google-Extended）。
二、Google官方支援的元素其實只有四個
Google的規格頁面清楚列明，robots.txt支援的元素只有：User-Agent、Allow、Disallow和Sitemap。任何其他「看起來很有趣」的假指令（例如影片中示範的No-AI-Hen-Coaching這類幻想指令），都會被解析器直接忽略。Illyes甚至舉了例子——有人曾見過一份97%是腳本、只有3%是真正指令的robots.txt，那純粹是浪費。
三、對香港網站最重要的提醒：非英文路徑要百分號編碼
這對香港中小企業特別有意義。Cherry Prommawin指出，如果robots.txt的規則路徑帶有中文、表情符號或其他非英文（非ASCII）字元，Google的解析器雖然會自動處理，但其他或較舊的爬蟲可能無法正確解讀，甚至「卡住」。要確保在全球的互聯網基礎設施上都「安全」，你應該在robots.txt規則中改用百分號編碼（percent-encoding）的版本。
舉例：假設你想封鎖一箇中文字的路徑 /服務/，安全寫法是把路徑編碼成百分號形式（%E6%9C%8D%E5%8B%99/）再寫入規則。Google認為原始UTF-8與百分號編碼版本等價，但就其他爬蟲而言，百分號編碼是「安全、標準的方式」。
四、對香港中小企業的實際意義
- 連結AI控制與robots.txt——如果你不希望Gemini、ChatGPT等AI工具引用你的內容，單靠開放式規則不足；要針對
Google-Extended、GPTBot等逐一指定User-Agent來封鎖，才有實效 - 慣用中文URL/路徑的網站——立即檢查
robots.txt，若規則路徑直接寫了中文字或特殊符號，應改為百分號編碼版本，避免某些爬蟲誤判而破壞規則 - 不要亂加自訂指令——只有
User-Agent、Allow、Disallow、Sitemap四項有效，其他一律被忽略；實測前先確認寫法正確，否則誤封正常Googlebot抓取會直接拖累索引 - 把robots.txt照料好——這份檔案是爬蟲進入網站的第一道門，寫錯或過度簡化的代價是排名與索引量受損
五、香港企業現在可以做什麼
- 第一步：全面檢視robots.txt——用爬蟲除錯工具測試，確認所有路徑（尤其含中文的部分）對Googlebot和主要爬蟲都正確生效
- 第二步：中文路徑改百分號編碼——若發現直接以中文寫入的路徑，逐步改為編碼版本並重新測試
- 第三步：釐清AI用途目標——想封鎖哪個AI就用哪個User-Agent，別期待「一兼兩顧」；同時留意Google正在推的統一AI訓練控制未來也可能影響寫法
- 第四步：與技術SEO顧問核對——robots.txt看似簡單，實際語法與爬蟲行為細節眾多，改動前最好經專業核對
一句話總結：robots.txt管的是「抓不抓」，不管「抓完怎麼用」。對以中文為主的香港網站，把非英文路徑做百分號編碼，是成本最低、卻最能避免「規則悄悄失效」的關鍵一步。