Original sourceSiliconANGLE
Summary
SiliconANGLE 報導，Google、微軟、Anthropic 與 OpenAI 共同支持一套新的 AI 爬取退出標準，讓網站經營者能以單一 robots.txt 設定封鎖用於模型訓練的爬蟲，但對僅執行非生成式任務的模型保留例外。微軟另將推出 AI Grounding 設定，可阻擋用於回答問題、而非訓練的頁面抓取，並延伸到使用微軟技術的第三方工具。OpenAI 與 Google 計畫在未來數月至一年內支援，Meta 支持概念但未承諾實作。草案已提交 IETF，以整合進 Robots Exclusion Protocol。這意味網站封鎖 AI 訓練抓取將從零散協商走向標準化機制，出版與…
Key points
- 內容業者與開發者可掌握未來以 robots.txt 統一管理 AI 爬取的實作路徑。
- 把 AI 爬取退出從個別談判變成通用協定，將重塑內容授權與訓練資料取得的預設規則。
- 網站營運者應預先規劃 robots.txt 與 grounding 設定，避免內容被預設納入訓練或問答索引。
Editorial note
This page is Code & Chain's editorial summary of public sources. It may be prepared with AI assistance and published through an automated workflow. Refer to the original sources; this content is not investment, legal, or tax advice.