趋势网(微博|微信)讯:关于轰动一时的百度人工智能测试作弊事件,百度给出了处理方法,除了此前的道歉外还开除了作弊事件负责人。
百度就上周ImageNet国际计算机视觉挑战赛违规行为展开了调查,已解除当事五人参赛小组一名负责人的劳动合同。
百度表示,经调查,此次参赛的异构计算团队,其工作和百度其他专门进行图像识别研究工作的团队没有任何联系。“任何违背了学术诚信和科研诚信的行为,不管大小,都是完全不能被接受的。这类行为和公司文化背道而驰,我们对此类行为采取零容忍的态度”。
百度还表示,为更好贯彻公司的科研态度和原则,百度将进一步加强内部员工相关培训,并组建一支科研指导小组,为年轻的工程师们提供指导。
事件回顾,外媒:百度为什么在人工智能测试中作弊?
上月,中国搜索引擎公司百度宣布其图片识别软件在精确度标准化测试中领先于谷歌。但后来百度承认是通过违反测试规则实现的这一成绩。
百度、谷歌、Facebook等大型科技公司最近几年都投入巨资组建研发团队,专门研究深度学习技术,他们开发的机器学习软件已经在语音和图像识别领域实现了重大进展。这些公司都在不遗余力地聘请这个小领域的顶尖专家,经常会相互挖角。虽然学术界目前的人工智能标准测试数量不多,但却可以帮助这些研究团队与其他团队的成就进行对比,并向公众展开宣传。
百度通过作弊获得了不公平的优势。要进行ImageNet Challenge测试,首先需要用150万张标准图片对其进行训练,然后将代码提交给ImageNet Challenge服务器,针对这些软件之前没有见过的10万张“验证”图片进行测试。
按照规定,每周只能对代码进行两次测试,因为最终的结果包含概率因素。
百度承认,该公司使用多个电子邮件帐号在短短6个月的测试期内对其代码展开了大约200次测试——超过规定测试数量的4倍。
艾伦人工智能学院CEO表示,百度此举相当于购买了多张彩票。“如果你一周购买2张彩票,你大概有一个中奖概率。但如果你一周买200张彩票,概率就会增加。”他说。这样一来,用略有不同的代码展开多次测试,便可帮助研究团队针对一组独特的验证图片进行优化。
在这种测试中,很小的优势也会产生巨大的不同。百度曾经表示,该公司的错误率仅为4.58%,击败了谷歌3月的4.82%。但一些专家指出,这么小的领先差距在这项测试中变得越来越没有意义。但百度和其他公司仍在努力吹嘘自己的结果,甚至不惜违反规则,足以表明在机器学习领域获得领先优势对他们而言的确意义非凡。