armok. 发表于 2 小时前

为防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎

【动真格了！为防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎！-哔哩哔哩】 https://b23.tv/sFjZcky

自日前开始，百度百科正式屏蔽了谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其它爬虫，未经授权抓取百度百科的内容用于训练AI。

而根据百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索（Chinaso）、YYSpider和宜搜搜索（EasouSpider）等少数几个搜索引擎被允许抓取其内容。

至于谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其它一切搜索引擎爬虫，均被明确禁止抓取百度百科的内容。

此外，虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其它搜索引擎也都是被屏蔽的。

不过话说回来，百度百科这种做法其实也只是防君子不防小人，肯定还是有很多爬虫会通过各种方式继续抓取内容然后拿去训练AI。

AWEN2000 发表于 1 小时前

抓取百毒内容训练 AI?不怕练坏了吗？

vtte 发表于 1 小时前

要是维基百科能访问，哪还有百度百科什么事儿。

68336016 发表于 1 小时前

百度做了一件正确的事情啊，怕教坏别人

seamajor 发表于 29 分钟前

你们忘记了，提供负样本也是正确的数据
页: [1]
查看完整版本: 为防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎