快科技今日(8月22日)最新資訊顯示,近期百度百科采取了一項重要舉措,對包括谷歌、必應在內(nèi)的多數(shù)搜索引擎實施了訪問限制,此舉據(jù)推測旨在防范這些搜索引擎及未經(jīng)授權(quán)的爬蟲程序擅自抓取其內(nèi)容,進而用于AI模型的訓練,以保護其內(nèi)容的獨家性和版權(quán)安全。
深入觀察百度百科的robots.txt配置文件,不難發(fā)現(xiàn),當前僅對百度搜索、搜狗搜索、中國搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)等少數(shù)幾家經(jīng)過嚴格篩選的搜索引擎開放了內(nèi)容抓取權(quán)限,這一變化標志著百度百科在內(nèi)容管理上邁出了更加精細化的一步。
與此同時,谷歌搜索、必應搜索、微軟MSN的Bingbot、UC瀏覽器的Yisouspider,以及所有未獲明確授權(quán)的搜索引擎爬蟲,均已被明確列入了禁止訪問的黑名單中,此舉無疑為百度百科的內(nèi)容安全筑起了一道堅實的防線。
值得注意的是,雖然360搜索并未在封禁名單中直接提及,但根據(jù)百度百科的“白名單”策略,任何未獲得明確授權(quán)的爬蟲均被視為非法訪問,這也意味著360搜索及其他未獲許可的搜索引擎同樣無法自由抓取百度百科的內(nèi)容。
然而,盡管百度百科采取了如此嚴密的防護措施,但“道高一尺,魔高一丈”,仍有可能存在技術(shù)高超的爬蟲通過各種隱秘手段繞開限制,繼續(xù)非法獲取并利用其內(nèi)容。因此,百度百科的這一舉措更多被視為一種積極的防御姿態(tài),旨在提升內(nèi)容保護意識,而非一勞永逸的解決方案。未來,隨著技術(shù)的不斷進步和法律法規(guī)的完善,相信內(nèi)容保護的問題將得到更加全面和有效的解決。