上着班聊着天， Mark 突然就被警察找上门了。
因为他的手机被发现有一张手机里含有儿童性器官的照片，于是 Mark 被怀疑是一个针对儿童下手的性犯罪者。而且警方发现，这张照片居然来自 Mark 的儿子……
一个变态的恋童癖形象大概已经开始在你脑海里构建起来。
先别急着愤怒，事情很快出现了反转。原来这张照片是 Mark 儿子生病后，为了让医生了解病情而拍摄的，而且 Mark 也从未公开发布过这张照片。
那么警方是如何得知的呢，是 Google 的 AI 系统检测到了 Mark Android 手机里的照片，并判定他为犯罪嫌疑人，转而向警方举报，并禁用了他的 Google 账号。
在美国，Google 全家桶的普及程度大概相当于微信，也就是说 Google 这一番操作，直接让 Mark 从线上到线下全方位社死。
更为可怕的是，和 Mark 一样被平台检测到异常顺便举报的人，远不止一个。
Mark 的孩子在学习走路时患上了腹股沟炎症。由于疫情严重，当时大部分人都在居家隔离，Mark 只能选择线上问诊，提供孩子腹股沟的照片，试图帮医生更好地做出诊断，医生也根据描述的病情、展现的照片开出了处方。
但就是这些照片出了问题，Android 手机里的照片自动同步到了云端，Google 系统将这些照片识别为了儿童性虐待内容 CSAM（Child Sexual Abuse Material）。
在被识别后，Mark 的网络使用瘫痪了一半，因为他被封了。Gmail，用户用来登录其它平台的账户邮箱；Google Fi，用户的移动虚拟运营商，打电话上网都用得上；Google Photos，再也无法访问，里面有你家人的照片回忆……这些通通被封了。因为 Google 觉得你涉嫌儿童性犯罪，所以封了你的账户顺便「替你」报了警——平台封号后向国家失踪与被剥削儿童中心（NCMEC）提交了一份报告，这份报告引发了警方的调查。
10 个月后，这位父亲收到了旧金山警局的通知，他们根据 Google 提供的照片报告对他进行了全方位的调查。
为了更好调查潜在的儿童性犯罪嫌疑人，警方还向 Google 发出了搜查令，要求提供 Mark 所有账户信息，视频、照片、位置数据、互联网搜索报告等内容。对 Mark 来说，这真的是无妄之灾，要是警察调查大张旗鼓一些，恐怕连工作都没法做了。
好在仔细的调查后，警方确认了这位父亲并不存在任何针对儿童的性犯罪行为。
这位父亲很清白，但 Google 很死板。即便是提供了经过警方证实的无罪报告，也无法让他成功向 Google 申诉找回账户。他曾经留在自己账户中的照片信息都已被完全锁定，无法再看到。能看到的只有 Google 的提醒——
你的账户因含有严重违反 Google 政策且可能非法的有害内容而被禁用。
申请解封是没有用的，你只能换邮箱、换电话，在数字世界从头开始。《纽约时报》报道了这样两个普通用户，他们都为孩子网上问诊拍摄了儿童性器官相关的照片，从而被判定违规封号，直到今天都无法找回自己的账号。
他们甚至不是特例。2021 年，Google 向 NCMEC 的 CyberTipLine（举报儿童性侵项目）报告了 621583 起案件。NCMEC 则向当地执法部门公告了 4260 名潜在受害者，请求警方协助调查，在这些孩子受到进一步伤害时解救他们。
听上去是一个技术及时制止犯罪、预防犯罪的好故事，但当这个名单里包含和 Mark 孩子一样只是问诊的未成年时，就是「抓住一千，也错抓一个」的悲伤故事了。
只是虽然有错抓，Google 明显也不打算改。不仅不解封经过警方认证的清白用户账户，也不打算停止这个会有缺陷的审查机制。
Google 发言人 Christa Muldoon 就表示：「我们遵循美国法律定义什么是 CSAM，并使用哈希匹配技术和人工智能的组合来识别它，再从我们的平台上删除它。我们的儿童安全专家团队会审查标记内容准确性，还会咨询儿科医生确保我们能够识别用户可能寻求医疗建议的情况。」
问题在于，Google 的审核团队并没有医学专业背景，在审查每个案例时也不一定都会咨询专业的儿科医生。所以错判在这个过程中可以说是难以避免的，唯一能够降低这种错判影响力的只有专业机构的判定和执法机构的二次审查。
但对于被误判的人来说，这真的是无妄之灾。因为这种误判，你的重要账号被锁了；因为这个判断，你被警察调查了；因为这些错判，身边人看你可能也会戴上有色眼镜。
电子前沿基金会 EFF 的技术项目主任 Jon Callas 对媒体表示 Google 的做法是有侵入性的。「这正是我们都担心的噩梦——他们要扫描我们的家庭相册，然后我们就会遇到麻烦。」
但这不是 Google 才会遇到的问题，因为几乎所有科技巨头在关乎 CSAM 内容时都有异常积极的行动。Amazon 和 Facebook 和 Google 一样有人工智能+人工的审核机制，发现有嫌疑的用户业余酌情删除或禁用 URL、图像、聊天功能，严重的封禁帐户。2021 年，亚马逊也向 NCMEC 提交了 33848 份 CSAM 报告。至于隐私问题，在这个技术打击犯罪的故事里似乎被忽略了。
在捍卫用户隐私的故事中，苹果拒绝「协助解锁」的故事最让人印象深刻。
当时美国福利机构内发生了一起严重的恐怖袭击枪击案，凶手在逃亡途中被击毙。警方在调查中发现凶手与中东「伊斯兰国」极端组织通过手机的加密通信进行联系，只是由于手机设有密码，法院也只能要求 iPhone 生产商苹果公司协助政府解锁。但苹果公开宣布拒绝遵行这道命令，理由是为了保护用户隐私：「如果政府动用《所有令状法案》让解锁 iPhone 变得更容易，它就有能力侵入任何人的设备并取得其数据，政府就可以延伸这种侵犯隐私的做法。」
但即便是在义正严辞拒绝过解锁用户 iPhone 的苹果在儿童性犯罪领域也不是没有动摇过。和 Google 一样，苹果也想过使用一种新工具扫描用户的 iCloud 照片，它会匹配 NCMEC 已有的图像数据库，如果发现了足够多的相似图像就会移交给操作员进行检查，继而通知 NCMEC。
苹果当时还计划推出一项新的 iMessage 功能，旨在「当 (孩子) 接收或发送色情照片时，提醒孩子和他们的父母」。13 岁以下的儿童接收或发送图像会向父母发出警告，而所有儿童用户在即将接收、发送被怀疑的色情图片时也会收到警告通知。
这个变化趋势没过多久就被叫停了，因为反对的声浪实在太大。EFF 认为这个新变化可能「为你的私人生活打开后门……所有 iCloud 照片用户的隐私减少，而不是改善。」就连斯诺登也表示「不管本意有多好，今天可以扫描儿童色情内容，明天就可以扫描任何东西。」
苹果最终搁置了图像扫描部分的功能，但依旧保留了在家庭共享计划中包含儿童帐户的可选功能。家长可以选择性为孩子开启分析图片是否有裸露图像的功能，如若监测到裸露图像还会进行模糊处理。
就连苹果也想要在自己产品中加入 CSAM 识别功能，很大一部分原因是这属于红线——无论是对于普通用户、执法机构，亦或是平台，它们对这件事的容忍度都极低。
这同时也意味着当你真的需要科技公司技术配合的时候，选择儿童性犯罪案件先进行合作会获得较多的民众支持。
英国在线安全法案的更新就打算规定「用户对用户服务」提供商必须努力向国家犯罪局报告任何分享的儿童性剥削和性虐待内容。这项立法修正案明确规定，企业应开发能够检查信息 (包括端到端加密通话) 的软件，以主动发现儿童性犯罪材料并向当局报告——否则将面临制裁。
只是 Google 的故事则告诉我们，哪怕这个功能顺利运行也有「错杀」的风险，而每一次误伤对于清白的用户都会造成伤害。技术未必能够解决所有的问题，我们熟悉的人工智能、算法在面对棘手的社会问题时依旧过于「单纯」，很难依靠单一的技术去发现潜在或已经发生的犯罪。
技术的介入甚至可能给原本艰难的环境带来新的问题，并不是初衷是好的就一定会有好的结果。毕竟有时候，通往地狱的道路往往由善意铺就。
题图来自《网络炼狱：揭发 N 号房》
加载中,请稍侯......