百度与360(百度和360哪个好用)

35小吃技术网 推荐阅读 2022年12月05日06时21分19秒 221 0

百度和360(百度和360哪个更好用)

自2012年360推出360搜索以来,百度和360这两家头部互联网公司成为了直接竞争对手。他们之间频繁的摩擦引起了很多诉讼。

2013年,百度起诉360不正当竞争,索赔1亿元,引起社会轰动。这场争论源于Robots协议,这是互联网网站和搜索引擎之间的通信方式。也被称为爬虫协议和机器人协议。通过建立Robots协议,每个互联网网站“告诉”搜索引擎它自己的哪些内容可以被抓取,哪些不可以被抓取。

该案源于360搜索上线后,百度并未将其纳入Robots协议白名单,因此360搜索无法抓取百度的网站内容。但360搜索已经越过Robots协议,抓取了百度百科、百度知道、百度贴吧的内容,并为360搜索用户生成快照。

本案于2014年8月7日宣判,百度胜诉,获赔70万元。但在案件审理过程中,360提出反诉,称百度使用Robots协议是为了限制360搜索,是维护其市场垄断地位的竞争壁垒,具有恶意和歧视性。

这次反诉的结果是360胜诉,法院判决百度构成不正当竞争,赔偿360 20万元。

然而,这场拉锯战可谓旷日持久。一审判决多年后,今年7月,北京市高级人民法院终于做出二审判决,维持原判,驳回百度的上诉。

这一判决的意义已经超越了“3B战争”的商业纠纷,而是起到了明确互联网搜索业务规则的作用。

“828夜战”打响。

30搜索引擎于2012年8月16日推出。在此之前,360依靠免费策略彻底改变了互联网安全市场,随后掀起了“3Q大战”,让互联网巨头腾讯极为被动。这一次,互联网搜索霸主百度不可避免地被它震撼了。果然,“3B战争”立即开始了。

根据第三方公司Hitwise的数据,截至2012年8月26日,百度、360、谷歌、搜狗和腾讯搜搜的份额分别为56.44%、10.22%、7.54%、7.14%和4.72%。

换句话说,360搜索引擎上线仅10天,就抢占了十分之一的搜索市场,让百度失去了近6%的市场份额。

一场国内互联网发展史上著名的“828夜战”打响了。2012年8月28日晚9点左右,百度开始小范围测试:用户通过360综合搜索访问百度知道、百科、贴吧等服务时,会强行跳转到百度首页。

30随后发起了攻击。用户在360浏览器中使用360综合搜索时,点击来自百度相关服务的搜索结果,会直接被带到“网页快照”页面。根据一些页面上标明的时间,这些百度页面的快照应该是存储在360搜索的晚上。

双方采取这些措施的根源是机器人协议。由于360搜索未被百度列入Robots协议白名单,360搜索无法抓取百度知道、百科、贴吧中的海量内容。当时360搜索宣称“拥有超过13000台服务器,庞大的蜘蛛爬虫系统每天抓取超过10亿个网页,引擎索引的优质网页数量超过200亿”。

30搜索超越了Robots协议,直接为用户提供百度网页的快照。当时,百度工程师赵明华在微博中称“360不顾Robots协议搜索百度数据,是不符合互联网基本协议的行为,会对所有网民的隐私和安全造成威胁,也破坏了网民完整的搜索体验”,痛斥360是窃取数据(小偷)、劫持用户(劫匪)、欺骗(骗子)合作伙伴(主要是中小站长)。

什么是机器人协议?

要理解“3B战争”,我们首先需要理解什么是机器人协议。

Robots协议英文叫Robots Exclusion Protocol,直译为机器人排除协议,也称为爬虫协议和机器人协议,是指网站所有者在网站根目录下设置的一个文本文件,即robots.txt

为了提高网络用户获取信息的效率,搜索引擎出现了,但同时也带来了新的问题:

一是网络机器人抓取同一网页内容速度过快或重复,导致被访问网站服务器过载,影响网站正常运行,降低抓取效率;

百度与360(百度和360哪个好用)-第1张图片

二是部分网络机器人抓取网站管理后台内部信息、临时文件、cgi脚本等对网络用户无用的信息。

这些问题表明,有必要在被访问的网站和搜索引擎的网络机器人之间建立一种交互方式。这样,网站所有者就可以提示网络机器人哪些网页是不需要抓取的,从而引导它们抓取对网络用户有用的信息。

为解决上述问题,荷兰网络工程师Martijn Koster于1994年初首次提出在网站根目录中设置robots.txt文件,以提示搜索引擎的网络机器人的抓取范围。

1994年6月30日,一些web机器人设计者和爱好者在web机器人电子邮件小组论坛上就Martijn Koster的提议达成一致,并形成了书面文件《机器人排除标准》(A Standard for Robot Exclusion),声明如下:“它不是一个标准组织备案的官方标准,也不属于任何商业组织。它没有强制执行力,也不能保证所有现在或未来的网络机器人都会使用。它是网络机器人的设计者提供给互联网社区的通用工具,可以保护服务器免受网络机器人不必要的干扰。”

如果一个网站想禁止任何搜索引擎的机器人抓取,网站的robots.txt文件是这样写的:

百度与360(百度和360哪个好用)-第2张图片

用户代理:*

不允许:/

1997年,Martijn Koster向互联网工程任务组(IETF)提交了一份名为“Web机器人控制方法”的互联网草案,其中进一步解释了如何建立robots.txt文件。

IETF是互联网领域最权威的国际组织,主要任务是制定互联网领域的技术规范。大部分互联网技术标准来自IETF。任何人都可以向IETF提交互联网草案,只有被IETF采用,它才会成为行业标准或规范。

然而,IETF尚未采用该草案。

被搁置的争议

2014年8月7日,百度起诉360不正当竞争。百度胜诉,获赔70万。但本案中,法院搁置了百度机器人协议拒绝360搜索的合理性。

(2014年8月7日,百度360不正当竞争纠纷案宣判。来源:北京一中院)

本案中,北京一中院认定,在线用户点击原本链接到百度特定网页的搜索结果时,360搜索引擎直接链接到奇虎的网页快照界面,其行为明显超出了网页快照的合理范围。这种行为构成不正当竞争。

百度曾请求法院判令禁止360搜索抓取百度网站,但未获法院支持。

法院认为,百度在不知道360提供搜索引擎服务的情况下,未将360搜索引擎加入其Robots协议白名单。但在360推出搜索引擎后,特别是双方纠纷短时间内迅速升级后,行政机关和行业协会已积极介入调解,360也明确表示希望抓取原告网站内容。百度既没有充分解释设立Robots协议的原因,也没有拒绝修改其Robots协议。

事实上,根据北京高院今年7月作出的判决,北京一中院早已对百度Robots协议的合理性留有余地:“鉴于本案360已就百度在其网站相关栏目中设置的Robots协议的合理性另行提起诉讼, 对网站服务提供者或所有者设定Robots协议限制搜索引擎爬虫抓取的合理理由范围不予置评,留待后续案件在双方充分阐明对合理理由的意见后再作判决。”

“3B战争”持续至今。

2012年“828夜战”打响后,宜搜CEO王茜在接受媒体采访时表示,“3B战”将是一场“用刀刮肉”的持久战,不同于“二选一”、速战速决的“3Q战”。

这话应验了。“3B战争”引发了多起诉讼,双方互有胜负,一直延续至今。2013年10月,360起诉百度不正当竞争,目前案件仍在二审。

但360起诉百度机器人协议设置不合理,将“3B战争”从商战提升到互联网规则层面。

本案争议的焦点是:百度通过设置Robots协议限制360搜索引擎抓取其相关网页内容是否构成不正当竞争。

在法律领域,存在完全相反的观点:有人认为如何设置Robots协议是百度的运营自由,也有人认为Robots协议的初衷是促进信息共享,应该保证互联网的公开和公平。最终,法院采纳了后一种观点。

在判决书中,法院举了一个形象的例子。

如果把网站比作一个对公众开放的博物馆,机器人协议就相当于挂在博物馆门口的一块牌子,告诉参观者哪些区域不对外开放,比如:“本博物馆三楼301-302室正在装修,四楼为办公区,谢绝参观者”。

标识的目的不是限制游客正常的游览活动,而是通过提醒游客哪些区域是非游览区来引导游客更有效地游览。

标志的内容应该对所有游客一视同仁。如果禁止某一类人探视,应该有合理正当的理由,比如出于安全考虑,禁止无民事行为能力人探视。在没有合理正当理由的情况下,禁止某一类人参观对公众开放的博物馆,显然是不合理的。

2012年11月1日,在中国互联网协会的领导下,12家互联网公司签署了《互联网搜索引擎服务自律公约》(简称《自律公约》)。《公约》第八条规定:互联网所有者在设立机器人协议时,应当遵循公平、公开和促进信息自由流动的原则,限制搜索引擎抓取应当有业内认可的正当理由。

开放、平等、协作和共享

法院认为,让互联网公司建立机器人协议会导致以下后果:

第一,影响360搜索引擎的正常运行。百度Robots协议的设置方式导致360搜索引擎无法抓取其相关网站的网页内容,使得360搜索引擎的功能无法正常发挥,从而直接影响360搜索引擎用户的上网体验,进而可能导致360搜索引擎的网络用户流失。

其次,损害了相关消费者的利益。同时影响用户使用360搜索引擎的体验,迫使有相关信息检索需求的用户更换其他搜索引擎,从而影响用户的决策权,增加选择成本。

第三,将导致360搜索引擎和百度之间的贸易机会和竞争优势。用户放弃使用360搜索引擎,削弱了360搜索引擎的交易机会和竞争优势,同时在一定程度上增加了百度搜索引擎的交易机会和竞争优势。

事实上,一些重要的国际组织,包括互联网工程任务组,都拒绝采用Robots协议作为行业标准,因为少数行业巨头可能会利用Robots协议本身的漏洞作为垄断工具。

第四,违背公平竞争原则,扰乱正常的互联网竞争秩序。百度机器人协议是用来区别对待其他运营商的。这种有针对性的歧视性设置违背了公平竞争的原则。这种行为不符合互联网发展普遍遵循的开放、平等、合作、共享的原则。如果任其发展,可能会导致同行业的经营者跟风,从而损害公共利益。

21世纪经济报道记者发现,目前360搜索可以正常搜索并打开百度的网页内容。

此役过后,在公平开放的竞争环境下,百度依然牢牢占据国内搜索引擎市场的最大份额,360搜索得到了有效发展,新的搜索产品不断涌现。

艾媒咨询《2018年中国PC搜索市场专题报告》显示,百度依然占据56%的流量份额,360搜索流量份额为35.2%,位居第二。根据艾媒咨询《2019-2020年中国移动搜索市场运营监测报告》,百度移动搜索的用户份额为71.1%,神马搜索和搜狗搜索的用户份额分别为40.3%和32%。