【ITBEAR】8月22日消息，近期，有報(bào)道指出，百度百科采取了新措施，對(duì)谷歌、必應(yīng)等眾多搜索引擎實(shí)施了屏蔽策略，此舉被推測(cè)是為了防止這些搜索引擎及其他爬蟲未經(jīng)授權(quán)抓取其內(nèi)容用于人工智能訓(xùn)練。
根據(jù)百度百科的robots.txt文件顯示，目前僅有幾個(gè)搜索引擎被授權(quán)可以抓取其內(nèi)容，包括百度搜索、搜狗搜索、中國(guó)搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)。
據(jù)ITBEAR了解，谷歌搜索、必應(yīng)搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他所有搜索引擎爬蟲均被明確禁止訪問百度百科的內(nèi)容。盡管360搜索并未在封禁名單中單獨(dú)列出，但由于百度百科的策略是禁止所有非白名單爬蟲，因此360搜索和其他搜索引擎同樣受到了屏蔽。
然而，這種屏蔽措施或許只能阻擋一部分訪問，仍有許多爬蟲可能會(huì)通過(guò)其他方式繼續(xù)抓取內(nèi)容并用于AI訓(xùn)練。
