Reddit 限制除 Google 之外的搜索引擎抓取其内容

2024-07-25 13:20 by 炼金术战争：机械人

在 Reddit 与 Google 达成了价值数亿美元的内容授权协议之后，它限制了除 Google 之外的搜索引擎爬虫抓取其内容。如果使用 Bing、DuckDuckGo、Mojeek、Qwant 或任何其它替代搜索引擎，设定“site:reddit.com”搜索 Reddit 内容，你看不到过去一周的任何结果。微软代表证实，Reddit 于 7 月 1 日更新了它的 robots.txt 文件，阻止了很多搜索引擎和 AI 工具抓取内容。

https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385
https://tech.slashdot.org/story/24/07/24/1832237/googles-exclusive-reddit-access

#互联网

via Solidot - Telegram Channel