一些 AI 供应商，包括谷歌、OpenAI 和苹果，允许网站所有者通过修改网站的 robots.txt来阻止他们用于数据抓取和模型训练的机器人。但是，并非所有 AI 抓取工具都尊重这一点。
因此，为了解决这个问题，Cloudflare 分析了人工智能机器人和爬虫流量，以微调自动机器人检测模型。除其他因素外，这些模型还考虑了人工智能机器人是否会通过模仿使用网络浏览器的人的外表和行为来试图逃避检测。
如果想要开启该功能，只需要导航到cf仪表盘的 安全性=> 自动程序，然后打开AI 爬虫程序和爬网程序 开关。
CF Blog
关注频道 @ZaiHuaPd
频道爆料 @ZaiHuabot
via 软件新闻频道📮投稿爆料 - Telegram Channel
