Code & Chain · Signal Desk

Google、Anthropic 等廠商支持新的 AI 爬取退出標準

原始來源SiliconANGLE

摘要

SiliconANGLE 報導,Google、微軟、Anthropic 與 OpenAI 共同支持一套新的 AI 爬取退出標準,讓網站經營者能以單一 robots.txt 設定封鎖用於模型訓練的爬蟲,但對僅執行非生成式任務的模型保留例外。微軟另將推出 AI Grounding 設定,可阻擋用於回答問題、而非訓練的頁面抓取,並延伸到使用微軟技術的第三方工具。OpenAI 與 Google 計畫在未來數月至一年內支援,Meta 支持概念但未承諾實作。草案已提交 IETF,以整合進 Robots Exclusion Protocol。這意味網站封鎖 AI 訓練抓取將從零散協商走向標準化機制,出版與…

重點整理

  • 網站營運者應預先規劃 robots.txt 與 grounding 設定,避免內容被預設納入訓練或問答索引。
  • 內容業者與開發者可掌握未來以 robots.txt 統一管理 AI 爬取的實作路徑。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。