标签: 账号安全

  • Discord 的 AI 审核翻车:8000 多人因为一张棋盘图被封号

    Discord 应用图标
    Discord 的自动安全系统误判无害图片,导致超 8000 个账号被封(图源:TechCrunch)

    你只是往 Discord 上传了一张棋盘截图,或者游戏贴图,甚至是一张带方格的透明背景图,账号就突然没了。过去两个月,超过 8000 名用户经历了这种事——而锅不在他们,在 Discord 的 AI 审核系统出了 bug。

    一张棋盘图引发的误封

    Discord 已经承认,从今年 5 月起,它的自动安全系统把一批完全无害的图片误判成了有害内容:电子表格、棋盘、游戏纹理,还有白底和灰底的透明背景,统统中招。光是上周末,又有 200 个账号被误封。公司说问题已经修好,受影响账号正在陆续恢复。

    “我们的系统会把内容与已知有害材料做匹配,这种相似匹配可能产生误报,所以按设计,理应有信任与安全团队的人工复核再采取行动。”——Discord 官方说明

    Discord 在 X 上解释过这套机制:系统会把用户上传的内容,跟已知有害材料的数据库做相似度匹配,初衷是抓非法内容。问题出在流程的最后一环——一个 bug 让系统跳过了人工复核,直接把账号给封了。换句话说,本该”先审核、后处罚”的设计,被这个漏洞绕了过去。

    用户为什么这么愤怒

    不少人在 X 和 Reddit 上吐槽,自己只是传了张带方格图案的图就被永久封禁。有人怀疑,Discord 的审核模型对方格图案特别敏感,因为这些图案以前常被人拿来遮挡、伪装违规内容,系统学”歪”了。对把 Discord 当工作沟通、游戏社群或远距离社交主阵地的用户来说,这种无差别封号代价不小。

    • 一个游戏制作人说,自己靠它联系所有合作方,账号没了等于断了线;
    • 误判发生时,用户先被扣上最严重的安全帽子、先被踢出门,事后才轮到申诉;
    • 自动化审核一旦出错,替你背锅的是成千上万个真实的人。

    Discord 不是孤例。去年 Instagram、Facebook 群组就出现过大规模莫名封号,很多人怀疑是 AI 审核的锅,但 Meta 从没公开认过。Tumblr 也挨过类似骂。现在 Meta 的监督委员会正在逼平台提高透明度。


    最扎心的不是 bug,是代价结构

    这件事最让人不舒服的地方,在于它的代价分配:误判发生时,用户先被定罪、先被踢出,申诉是后面的事。在信任与安全这件事上,流程往往和算法一样重要。AI 初审加人工复核的混合模式喊了很久,但 Discord 这跤说明,只要中间任何一环断了,受伤的就是普通用户。把误报率当成硬指标公开,可能比事后修 bug 更有意义。

  • Meta的AI客服成了黑客工具,奥巴马账号都被劫走了

    Instagram的账号安全体系最近出了个离谱的漏洞——被攻破的不是密码数据库,而是Meta自己引以为傲的AI客服聊天机器人。

    整个攻击流程简单到离谱。黑客只需要打开Meta的AI客服,跟它说”帮我把某个账号绑定的邮箱改成我的”,AI就会照做,还会把验证码发到黑客的邮箱。拿到验证码之后,黑客直接重置密码,原主人就被踢出局了。

    「Apparently this was not a sophisticated hack. But engineers at Instagram going overboard to use AI for everything, and having no incentives for stuff like… security.」——Gergely Orosz,《The Pragmatic Engineer》作者

    为了躲避检测,有些黑客还会配合VPN,把自己的地理位置伪装成目标账号的常用登录地。攻击目标主要是那些”靓号”——单字母、单单词的账号,比如”@h”、”@eggs”这类,当然也包括公众人物和企业账号。

    已经确认的受害者名单

    已经被证实中招的账号里,最离谱的是美国前总统奥巴马的白宫官方Instagram账号@obamawhitehouse。这个账号在5月的一个周日突然开始发布带有伊朗宣传内容的图片。

    除了政治账号,美国太空军首席军士长的账号、美妆零售商Sephora的官方账号也都确认被劫持。安全研究员、逆向工程师Jane Manchun Wong也在受害者之列——她在X平台上说,自己的密码在完全不知情的情况下被改了,账号不断收到密码重置请求,Instagram的iOS端还反复被强制登出。


    根子上的问题

    事件曝光后,Meta通讯主管Andy Stone在X上回应称漏洞已经被修复,公司正在对受影响账号采取保护措施。但事情并没有这么简单。

    《The Pragmatic Engineer》的作者Gergely Orosz指出,Instagram的信任与安全团队在过去几周被严重削弱——不是因为黑客太厉害,而是Meta自己把人裁了,或者把员工调去搞AI标注之类的活儿。

    结果就是一个并不复杂的利用手法,居然能成功。这背后是Meta过去一年的整体节奏:大规模裁员、强推AI工具、把安全团队的人力往AI业务上搬。效率和创新是有了,但地基被掏空了。

    目前Meta表示已经修复了相关漏洞,但这件事留下的疑问是:当一家公司的客服入口变成了AI,而AI又被设计成”尽量满足用户请求”的模式,那么”用户”到底是真人还是黑客,这个边界要怎么划?

    Meta AI客服聊天机器人被利用劫持账号
    Meta的AI客服聊天界面成了黑客攻击入口(图片来源:The Verge)