OpenAI 现允许网站阻止其网络爬虫抓取数据,避免数据被用于训练 AI 模型

OpenAI 在其博客文章中表示,网站运营者可以通过在其网站的 Robots.txt 文件中禁止 GPTBot 的访问,或者通过屏蔽其 IP 地址,来阻止 GPTBot 从其网站上抓取数据。

GPTBot是OpenAI的网络爬虫,可以通过以下用户代理和字符串来识别。
User agent token: GPTBot
Full user-agent string:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

禁止 GPTBot
User-agent: GPTBot
Disallow: /


自定义 GPTBot 访问
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/


IP 出口范围
40.83.2.64/28

—— OpenAI

via 风向旗参考快讯 - Telegram Channel
 
 
Back to Top
Copyright © 2025 BESTAI. All rights reserved.
BEST AI API中转 - OpenAI DeepSeek Claude Gemini Grok MidJourney 2.8折起
[email protected]