Discord 的 AI 审核翻车:8000 多人因为一张棋盘图被封号

Discord 应用图标
Discord 的自动安全系统误判无害图片,导致超 8000 个账号被封(图源:TechCrunch)

你只是往 Discord 上传了一张棋盘截图,或者游戏贴图,甚至是一张带方格的透明背景图,账号就突然没了。过去两个月,超过 8000 名用户经历了这种事——而锅不在他们,在 Discord 的 AI 审核系统出了 bug。

一张棋盘图引发的误封

Discord 已经承认,从今年 5 月起,它的自动安全系统把一批完全无害的图片误判成了有害内容:电子表格、棋盘、游戏纹理,还有白底和灰底的透明背景,统统中招。光是上周末,又有 200 个账号被误封。公司说问题已经修好,受影响账号正在陆续恢复。

“我们的系统会把内容与已知有害材料做匹配,这种相似匹配可能产生误报,所以按设计,理应有信任与安全团队的人工复核再采取行动。”——Discord 官方说明

Discord 在 X 上解释过这套机制:系统会把用户上传的内容,跟已知有害材料的数据库做相似度匹配,初衷是抓非法内容。问题出在流程的最后一环——一个 bug 让系统跳过了人工复核,直接把账号给封了。换句话说,本该”先审核、后处罚”的设计,被这个漏洞绕了过去。

用户为什么这么愤怒

不少人在 X 和 Reddit 上吐槽,自己只是传了张带方格图案的图就被永久封禁。有人怀疑,Discord 的审核模型对方格图案特别敏感,因为这些图案以前常被人拿来遮挡、伪装违规内容,系统学”歪”了。对把 Discord 当工作沟通、游戏社群或远距离社交主阵地的用户来说,这种无差别封号代价不小。

  • 一个游戏制作人说,自己靠它联系所有合作方,账号没了等于断了线;
  • 误判发生时,用户先被扣上最严重的安全帽子、先被踢出门,事后才轮到申诉;
  • 自动化审核一旦出错,替你背锅的是成千上万个真实的人。

Discord 不是孤例。去年 Instagram、Facebook 群组就出现过大规模莫名封号,很多人怀疑是 AI 审核的锅,但 Meta 从没公开认过。Tumblr 也挨过类似骂。现在 Meta 的监督委员会正在逼平台提高透明度。


最扎心的不是 bug,是代价结构

这件事最让人不舒服的地方,在于它的代价分配:误判发生时,用户先被定罪、先被踢出,申诉是后面的事。在信任与安全这件事上,流程往往和算法一样重要。AI 初审加人工复核的混合模式喊了很久,但 Discord 这跤说明,只要中间任何一环断了,受伤的就是普通用户。把误报率当成硬指标公开,可能比事后修 bug 更有意义。

📎 原文来源:Discord admits AI moderation bug wrongfully banned users over harmless images(TechCrunch)

评论

4 条对“Discord 的 AI 审核翻车:8000 多人因为一张棋盘图被封号”的回复

  1. MWTAH51627 的头像
    MWTAH51627

    方格图案被误判这事太真实了,我做设计的,透明背景图天天传,想想都后怕。最离谱的是先封号再申诉,等于先定罪后审判,流程不改迟早再翻车。

  2. MWTAH51627 的头像
    MWTAH51627

    AI 初审加人工复核说了很久,真出事还是一环断全盘崩。平台该把误报率当硬指标公布,而不是等用户闹上热搜才修。Meta 监督委员会逼透明度算是做对了一件事。

  3. PRFKY42165 的头像
    PRFKY42165

    方格图案被误判这事太真实了,我做设计的,透明背景图天天传,想想都后怕。最离谱的是先封号再申诉,等于先定罪后审判,流程不改迟早再翻车。

  4. PRFKY42165 的头像
    PRFKY42165

    AI 初审加人工复核说了很久,真出事还是一环断全盘崩。平台该把误报率当硬指标公布,而不是等用户闹上热搜才修。Meta 监督委员会逼透明度算是做对了一件事。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注