搜索引擎爬蟲協(xié)議的競爭法分析.pdf

1、爬蟲協(xié)議也稱Robots協(xié)議、爬蟲規(guī)則等,是指網(wǎng)絡服務商可設立特定的電子文件來向搜索引擎示明自身哪些內(nèi)容可以抓取,而搜索引擎則可以讀取該文件來識別所在頁面是否允許被抓取。然而，由于爬蟲協(xié)議本身存在著非強制性，搜索引擎的網(wǎng)絡爬蟲很容易就能夠繞過此文件來實現(xiàn)信息抓取的目的。2012年，百度基于爬蟲協(xié)議訴奇虎（360搜索）不正當競爭一案將爬蟲協(xié)議及其一系列相關的互聯(lián)網(wǎng)法律問題帶入了公眾的視野，自此以后相關案件層出不窮。由于我國現(xiàn)有法律對于爬蟲

2、協(xié)議缺乏直接、明確的適用規(guī)定，對于司法實踐的結果學者們亦存在一定的爭論與分歧，對于此問題的法律規(guī)制亟待解決。
　　本文認為，Robots協(xié)議雖然表面具備技術手段的特征，但其法律性質(zhì)同樣不容忽視。特別是我國《互聯(lián)網(wǎng)搜索引擎服務自律公約》的簽訂，使Robots協(xié)議在業(yè)界已經(jīng)上升為重要的行業(yè)慣例之一。作為互聯(lián)網(wǎng)用戶、搜索引擎服務商、網(wǎng)絡內(nèi)容服務商三角關系的核心，Robots協(xié)議及相關規(guī)范應當受到每一位互聯(lián)網(wǎng)參與者的支持與遵守。
　

3、　從反不正當競爭的角度來看，以行業(yè)規(guī)范為代表的商業(yè)道德通常會作為認定不正當競爭行為的重要考量因素。而搜索引擎能夠在抓取其他網(wǎng)站信息的過程中遵守所遇到的Robots協(xié)議事實上也屬于一種行業(yè)內(nèi)的普遍商業(yè)倫理，一旦與之悖逆，就可能會形成不正當競爭行為。同時，網(wǎng)絡內(nèi)容服務商雖然擁有自由設立Robots協(xié)議相關內(nèi)容的權利，但依然應當受到互聯(lián)網(wǎng)“互聯(lián)互通”原則的約束。此外，在我國《反不正當競爭法》面臨新舊交替、更新?lián)Q代的當下，立法者們也應當立足現(xiàn)實