众包内容审核——它是如何运作的以及可能的

丹尼尔Faggella
头像

Daniel Faggella是Emerj研究的首脑。丹尼尔呼吁由联合国,世界银行,国际刑警组织和龙头企业,丹尼尔是AI对商业和政府领导者竞争战略影响的全球追捧。

亚马逊假评

随着网络增长,我们花了更多时间在线,适度变得更大,更大的挑战。内容影响买家,渴望获得这些客户的信任的企业可能会赢得任何胜利。

评论,配置文件,帐户,照片和评论 - 所有这些类别的内容都需要疏忽,以便他们不会因误导性广告消息而被剥夺,或者直接垃圾邮件。

机器学习对尺度适度至关重要 - 但通常有助于训练这些算法的人性化。我采访了Charly Walther,VP的产品和增长Gengo.ai更多地了解基于许多内容审核算法的众包流程,并确定何时以及如何需要人力帮助机器更好地过滤垃圾邮件或不合适的内容。

为什么和当需要人类的适度时

过滤与不合适的图像可能导致用户体验不佳 - 甚至冒犯用户的反冲。Facebook已经看到它是审核问题的公平份额,导致公司雇用人的军队来帮助过滤内容 - 机器的工作常常不适合做什么

尺度适度通常涉及以下元素:

  • 经过培训的机器学习算法,由用户数据或外部数据通知。该算法旨在确定适当或不当内容。
  • 一组人类评审员,他们帮助手动批准或否决内容,这有助于训练算法,以便在未来做出更好的内容审核决策。

在沃尔特的话说:

“你想要一个人类的循环流量 - 你可能有一些可以检测到存在问题的机器学习系统,但你可能不想删除没有人为干预的东西。”

Walther告诉我们,一般来说,内容审核有两种方式:

  • 事后过滤:一些平台或网站可能会决定将“有问题的”内容实时推送给用户,然后再由人众包的评论者进行审查。
    • 例如:Facebook可能允许用户发布似乎可疑的图像,只有在实际上发现他们被发现从公司的政策中断。可能会做出这一决定,以便让用户通过立即过滤的评论被冒犯(例如这个图形越南战争形象的例子最初过滤的是裸体内容,但后来在用户的抗议下被允许上线)。
    • 沃尔特告诉我们,一些公司更喜欢这种方法,因为它允许他们——用他的话说“把他们的手放在火,“冲压批准,一个真正的人类为了显示给予适度的照顾和关注(而不是一个寒冷和客观,完全算法决定)。
  • 首先过滤:其他平台或站点可能会决定“可疑”内容应该隐藏在用户中,只有在人为审阅者批准时才被推动。
    • 例如:像纽约时报网站这样的大型媒体存在可能会在允许它们在公司网站上发布之前手动过滤所有的评论。

有时,内容泛化算法将能够辨别出一种确定性的梯度。

一个训练有素的机器学习算法可能能够完全“过滤掉”它认为有99%肯定包含不适当的裸体(在图像过滤的情况下)或垃圾链接(在评论审核的情况下)的图像。

相同的算法可能将较低的所有(或某些)内容放在人类评论者的“审查桶”中。例如,机器认为具有60%的裸露(在图像适度的情况下)或35%的几率包括垃圾链路(在评论审核的情况下)可能与人类评审者一起传递。

对这些“灰色区域”调节决策的纠正,有望提高机器在下一次自己做出正确决策的能力。

帐户/资料

假Twitter帐户
假账户和档案是为政治影响力,骗局,垃圾邮件推广和更多的 - 图片来源:CommondReams.org

从社交媒体网络到在线论坛再到AirBnb这样的平台,假或不适当的帐户是公司必须处理的问题。这可能包括f另一种说法是假装是“真实的人”,习惯于不可告人的目的:

  • 虚假的社交媒体账户,通过伪造社会证明来人为地“点赞”和“分享”广告商的信息
  • 假社交媒体账户,用于推动特定的政治观点或议程,而不披露议程背后的党
  • 秘密被用来推送色情内容或不想要的宣传内容的账户

机器学习系统可能会犯两种错误。“错误肯定”是指系统认为内容不合适,但实际上它是合适的(例如,不正确地过滤掉内容)。“虚假否定”指的是当一个系统合适时,实际上它是不合适的(例如不正确地允许劣质内容通过过滤器)。

在沃尔特的话说:

“平台上可以有一个按钮,上面写着‘标记此内容为不当内容’——允许用户检测出错误否定,以帮助训练算法。你需要人工审查员来判断错误的结果,来审查过滤过的没有上线的内容——这是用户无法帮助的内容。”

这是虚假积极预防的那种情况,众群经常发挥作用。

上市

错误或不恰当的列表可能包括:

  • Airbnb账户与网站的条款和条件打破(即,有人试图在他们的后院帐篷或拾取卡车的背面)
  • 房间租赁网站的假单,打算引诱用户支付不是真实的东西
  • 虚假的Craigslist列表,声称是提供一种设备,但实际上捕鱼从不可携带的用户预付预付款(一个学术报告发表于金融加密和数据安全2016估计,所有Craigslist帖子中的1.5%是假的)
  • 社交汽车租赁网站(如Turo.com)上的一辆车可能会被列入公然违反安全标准的名单(例如,这辆车没有挡风玻璃或安全带)。
  • 房地产列表(Trulia或Zillow等网站上)的特点是虚假图片或编造的地址

有些列表可能只是一个笑话,其他人有意尝试犯欺诈,其他人可能会以违反服务条款的方式无意中发布。这些列表共同的内容是他们降低了网站或平台的用户体验。

任何足够大的平台都将努力跟踪其网站上的所有列表。人类的判断和过滤可以用来发现越来越多的细微差别的模式,与骗子或政策滥用者保持一致,并训练一个机器学习系统,以减少垃圾邮件在网站上出现。

评论

一个纽约杂志上的文章引用Fakespot创始人的话说,超过40%的亚马逊评论是有问题的(比如不是经过验证的购买,或者是用词或重复)。虽然这个数字可能被夸大了,但很明显,某些产品类别充斥着虚假的评论和粗略的描述——尤其是消费电子产品。

亚马逊假评
亚马逊和其他电子商务网站负担了数百万公力的假审查 - 来源:MakeUMOOF

几乎可以说的是允许评论的任何大型网站。从电子商务商店,产品市场或服务市场(如yelp或houzz)。

错误的评论有多种形式,包括:

  • 差评旨在减少竞争对手的销售,或鼓励购买其他品牌、产品或服务
  • 正面审查旨在提供社会证明,并鼓励其他毫无戒心的客户购买
  • 混合评论(比如,3或4星),旨在融入更大的假五星级评论,目的是提高审查的可能性,这是诚实和真实的整体

所有这些审查都有一个共同点 - 他们已发布好像他们来自真正的客户和用户 - 但他们实际上被寻求影响买家的行为的品牌。

虽然有识别虚假评论的经验法则(CNET在这个主题有一个有用的文章),几乎不可能训练一个算法来检测所有虚假评论。

提供评论的大型平台企业和电子商务业务往往已经使用基于机器学习的系统来过滤审查,并渴望看到这些系统随着时间的推移而改善。据报道,一位亚马逊发言人告诉挖透赛:

“我们使用了一种机器学习算法,对更新、更有帮助的评论给予更大的权重,采用严格的标准来获得亚马逊认证购买徽章,并强制要求参与的金额相当大,此外还有其他机制来防止和检测不真实的评论。”

显然,这还不够。我们不能责怪亚马逊,任何规模足够大的平台业务都注定会遇到同样的问题。改进检测虚假评论的机器学习模型,需要这些模型背后的工程师进行高水平的深谋远算,但它还需要其他东西:来自人类的输入,他们可以直觉地分辨虚假评论和真实评论的区别。

以下是众众努力如何有助于改进机器学习模型的一些示例:

  • 评论垃圾邮件发送者可能会为他们的正面或负面评论采用一套新的模板。手动分析评论的人可能会很快发现这个模式,并通知算法这些新模板和格式是可疑的,或者可能需要。
  • 机器学习模型可能能够确定一些评论是彻头彻尾的垃圾邮件,但其他评论可能只是被标记为“可疑的”。这些有问题的评论可能会被发送给人类评审员,由他们决定是否批准或删除评论,从而为机器学习模型的下一个决定增添更多内容和背景。

评论是很重要的。一个西北大学进行的电子商务研究报告称,近95%的买家将在购买前查看评论(如果可用),而且共享评审率可以提高转换率超过200%。

评论

垃圾邮件评论
垃圾邮件评论通常具有可能由人类检测的重复和可预测的格式,并由机器过滤。图像来源:船船

评论垃圾邮件是所有尺寸的网站的烦恼必须处理。评论垃圾邮件“机器人”不断地在互联网上爬行,试图堵塞不知情的网站的反向链接。有时这样做是为了破坏用户在该网站上的体验,但更多情况下,它是为了试图驱动反向链接或流量到目标网站(通常是一些假冒的珠宝或手袋)。

阻止可疑IP地址和自动过滤评论中包含的特定url是消除无用垃圾评论的一种方法——但这通常还不够。

可能会立即过滤的内容可能包括:

  • 不敬的言语
  • 直接侮辱
  • 种族歧视或任何形式的言论
  • 垃圾邮件,促销或不相关的链接

与其他种类的节制,假的评论往往有某些共通的特性(IP地址,格式的消息,蹩脚的英语,等等),让他们迅速过滤,但新的垃圾邮件和虚假评论的方法正在开发的用户每天适量机器学习算法在不断追赶的游戏。

与评论一样,众群评论适度有可能为过滤算法提供有价值的培训数据,以更好地捕获未来的垃圾邮件或错误的评论尝试。此培训过程正在进行 - 并与用户携手共进和新的努力,以欺骗系统。

关于过滤侮辱和“仇恨言论”的问题并不容易解决,我们采访了另一位人工智能专家,解释了适当训练算法过滤内容所需的一些初始过程。

查尔斯·马丁博士他是计算咨询公司(computing Consulting)的创始人,这是一家位于硅谷的机器学习咨询公司。查尔斯此前曾在德蒙德传媒(Demand Media)和eBay等公司从事基于机器学习的内容审核项目。

查尔斯提到,如果一个大型媒体平台(例如,霍巴斯特或纽约时报)想要训练一种算法来削减仇恨言论,他们需要做得很好的第一件事就是定义他们的术语和边界更具体。

对仇恨言论的统一清除需要的不仅仅是人们给评论贴上标签的反应和回应,它需要建立一套一致的边界,围绕什么是“咒骂”或什么是“侮辱”。“如果没有提前确定这些标准,就不可能可靠地训练一个算法。

查尔斯还说,它可能是潜在的这些AI系统(可能是对算法的过度录制算法的引用),并且了解设计和训练算法的过程是值得注意的,以确保系统按预期工作。

照片

图像,像书面内容一样,需要适度——但通常比书面文本更难“过滤”。机器视觉是一个相对较新的科学,图像的解释需要巨大的人类努力。

图像调节可能包括:

  • 从酒店或目的地列表网站过滤假或误导照片
  • 从Facebook这样的公共社交媒体平台过滤不适当的图像或裸露
  • 根据正在提供的产品的公然虚假或误导性图像,在eBay或Craigslist上取下列表

瓦尔特说:“沃尔特说:”虽然机器学习系统可能能够在公然的不恰当或误导性的图像上接受误导性的图像。“这是关于找到边缘案例。这是关于找到1%的机器学习无法接通的情况,以便系统可以改善。“

关于Gengo.ai

Gengo.aioffers high-quality, multilingual, crowdsourced data services for training machine learning models. The firm boasts tens of thousands of crowdsourced workers around the globe, servicing the likes of technology giants such as Expedia, Facebook, Amazon, and more.

本文由Gengo.ai赞助,并在与我们的透明方面进行了编写,编辑和发布Emerj赞助的内容指南。了解有关我们在我们的ei-communustocomationience的信息了解更多信息Emerj广告页面

标题图像信用:获奖电子邮件

保持AI曲线的领先地位

发现在业务未来将赢家分开获奖者的关键AI趋势和应用程序。

注册“AI Advantage”时事通讯:

" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Thanks - check your inbox for a confirmation email">
" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Error - There was some problem.">
订阅
订阅镜像
保持领先于机器学习曲线

加入超过20,000名专注于AI的商业领袖,每周接收我们最新的AI研究和趋势。

感谢您订阅EMERJ“AI Advantage”时事通讯,请检查您的电子邮件收件箱进行确认。