原始來源SiliconANGLE
摘要
SiliconANGLE 报导，Google、微软、Anthropic 与 OpenAI 共同支持一套新的 AI 爬取退出标准，让网站经营者能以单一 robots.txt 设定封锁用于模型训练的爬虫，但对仅执行非生成式任务的模型保留例外。微软另将推出 AI Grounding 设定，可阻挡用于回答问题、而非训练的页面抓取，并延伸到使用微软技术的第三方工具。OpenAI 与 Google 计划在未来数月至一年内支援，Meta 支持概念但未承诺实作。草案已提交 IETF，以整合进 Robots Exclusion Protocol。这意味网站封锁 AI 训练抓取将从零散协商走向标准化机制，出版与…
重點整理
- 网站营运者应预先规划 robots.txt 与 grounding 设定，避免内容被预设纳入训练或问答索引。
- 内容业者与开发者可掌握未来以 robots.txt 统一管理 AI 爬取的实作路径。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。