Cloudflare 与 OpenAI 试点,ChatGPT 索引数亿新网页
2026-10-16 15:08:07
网络基础设施公司 Cloudflare 与 OpenAI 于 2026 年 7 月启动研究试点,检验 Cloudflare 网络信号能否帮助 ChatGPT 用户更高效地发现新内容。双方称早期结果为肯定,试点把此前未知的页面纳入 OpenAI 搜索索引,使 ChatGPT 有更多来源可引用。
试点使用 Cloudflare 全网约 1% 的参与队列,使 OpenAI 发现并索引了数亿个新网页。OpenAI 独立评估并按相关性与有用性排序,ChatGPT Search 通过回链让用户查看原始内容与发布方。观察显示,自动化流量可能让不存在的页面显得值得关注,部分站点会把任意地址重定向到首页,也有地址指向重复内容。双方还在测试用于识别潜在有害页面的信号,例如合法站点上被植入的假登录页,并主张标记单页而非整域。
相关信号还用于过滤不存在或会重定向的页面,并判断未变更页面是否值得再次访问。页面信号不构成访问许可,该研究使用的是用于搜索与发现的网页元数据,而不是把页面内容用于模型训练。站点所有者可通过 Cloudflare 的 AI Crawl Control 了解并管理 AI 系统如何访问其网站。下一阶段将改进页面选择,并测试更快、更可靠的变更信号。