那为什么 Tay 会这么容易就被「带跑偏」了呢?微软难道没有给 Tay 装配过滤器吗?
根据相关的信息,微软只为 Tay 装配了脏话相关的过滤器,因此,一些很粗鄙、很低级的脏话并不会影响到 Tay。但是微软并没有考虑到网络环境的复杂性,他们没有为 Tay 配置诸如种族主义这类恶劣思想相关的过滤器,于是我们「天真」而又「单纯」的 Tay 就不幸中招了。
(Tay 可以识别出对话当中的脏话)
当然,Tay 也不是没有抵抗,然而无奈那些教唆它的人实在是太狡猾了!他们发现了让 Tay 学习他们语言的一个重要诀窍:「repeat after me(跟我说)」。下面就是一个典型的案例:
(经过简单的几句话,Tay 就喊出了「种族战争」这类的纳粹语言)
同时,Tay 还有一个可以在图片中圈出人脸并在上面配上文字的功能,于是我们又看到了它被人利用的画面:
于是,随着雪球越滚越大,越来越多的人加入到了对 Tay 的「花式教唆」中,终于,Tay 成为了一个「坏」的聊天机器人。
AI 机器人应该怎样学习?
当然,这些都不是微软原来的设想。在 Tay 上线之前接受采访的时候,微软研究员 Kati London 就对记者这样说道:「你对她说得越多,他就能变得越聪明。」因为它在设计原理上就是从对话交互当中进行学习的。但显然他们没有想到这样的事情会发生。
而这也体现出了地域文化之间的差异。事实上,微软在去年在中国和日本都上线了类似的聊天机器人,相信大家都已经「调戏」过了微软小冰这个可爱的「妹子」,但从未有类似的事件发生,而这也使得微软忽视了地区差异性的因素。在中国,大家的网络「教唆」、「骚扰」方式大都比较直白,微软很容易就能处理掉一些不合适的字眼,大家也不会想到用小冰这样的机器人去传播政治不正确的思想。而正如 Fusion 所说,美国是一个「种族主义很容易传播却很少能受到惩罚的地方」,而微软很明显忽视了在这方面的考虑。