这是一个真实的故事。前几天，我和一群小伙伴在新加坡参加了一场神秘的黑客大会，具体是什么大会，以后再说。我先说说你们感兴趣的“寻找红灯区事件”。

我们本来纯洁地打算寻找吃榴莲的圣地，不料女导游神秘兮兮地介绍，新加坡有个地区叫芽笼，是个开展合法羞羞服务的区域，就在你们吃榴莲的地方附近哦。

蛤？贵坡还有这么不符合我们社会主义核心价值观的地方？

车上的小伙伴顿时来了兴致，强烈要求司机载着我们在芽笼区域晃荡一圈。而且，一位男同学提出了一个相当正经的问题：听说提供这些服务的场所就隐藏在大街小巷里，我们怎么区别什么样的场所是红灯区？迷路怎么办？

女导游羞涩地朝着一个方向指过去：你们看，新加坡的这些街巷分成了单双号，在这个区域，单号街道都是正经吃喝的地方，一般红灯区隐藏在双号街道里哦。

【 图片来源：新加坡眼 所有者：新加坡眼 】

为了再一次教我们辨别什么是提供特殊服务的小店，导游指出，一般在这些场所外面，会挂上两个红灯笼，这些灯笼会在夜晚点亮。

可是，这辆大巴转了许久，我们还是没有看到红灯笼，不禁失望至极，导游安慰我们：对了，有些场所不挂灯笼，但有 bling bling 的霓虹灯，你们如果在这个区域的双号街巷看到闪烁的五颜六色，那就八九不离十了！

我之所以想起寻找红灯区事件，是因为1月16日，我参加了阿里安全部的一次年度媒体沟通会，AI 鉴黄被作为一个典型的安全 AI 应用案例推出。我才发现，相较于肉身寻找红灯区，AI 早就在鉴定黄赌毒上一路狂奔了。

但是，厉害如 AI 唐马儒，竟然也面临着安全风险。

本文作者：雷锋网网络安全专栏作者，李勤，微信：qinqin0511

攻击者 VS AI老司机

我们来看看，发生了什么。

阿里目前有三大战略领域：传统电商、数字化娱乐和新零售，这三个领域都涉及到网络安全，比如，原创内容保护、内容治理和网络黑灰产对抗。

以内容治理为例，由于淘宝体量巨大以及内容生态越来越繁荣，淘宝的短视频每天的观看量差不多能达到 20 亿次，这就衍生了一个问题：如何让内容合法合规？

阿里安全部图灵实验室高级算法专家威视（花名）告诉我，在过去一年网信办接到的各种违规信息举报中，超过 70% 的举报涉及色情低俗，这意味着，色情低俗风险确实是各种内容面临的合规风险中占比最大的一种，所以，在巨大的信息中，运用 AI 寻找黄色内容，规避内容风险成了一个强需求。

现在出现了一类不正经的算法工程师，他们被称为“调包侠”，虽然他们可能并不理解 AI 技术底层如何实现，但特别擅长调包——调用别人的开源代码，将一些非法信息灌进去，训练出一个特殊模型。这导致了另一个问题——安全研究员辛辛苦苦训练出的 AI 唐马儒竟然可能叛变，就像被人塞了小红包，对黄色内容睁一眼闭一眼。

【 图片来源：pconline 所有者：pconline 】

更让人担忧的是，还有更多安全对抗在发生。

第一回合：没用上 AI 技术，违规信息对抗在不同媒体间转移。

以商品信息为例，一开始，色情低俗信息，直接写在商品标题里面，比如：“看爽片XXX”，立马能找到不可描述的东东。

安全技术专家像打地鼠一样，敲掉了标题里的色情低俗。现在一搜“看爽片”“爽片”，出来的分别是这样的商品：

【 雷锋网注：仅为搜索结果示例】

攻击者马上把违规信息转移到了商品的主图、副图中。由于色情图片具有较强的视觉可分性，图片的鉴黄比较容易开展，攻击者发现自己被拦住之后，开始做拼接图，把违规信息拼在一个正常背景中，或者通过翻拍逃避检测。

甚至，当他们发现，算法对彩色图片的识别效果好，攻击者就用黑白图片，后来，整张图片容易被识别，就变成局部暴露，比如，衣服裹得严严实实的，只漏出关键的一点点。