YOHO AI

标签： 社交媒体

  • Discord 的 AI 审核翻车：8000 多人因为一张棋盘图被封号

    Discord 应用图标
    Discord 的自动安全系统误判无害图片，导致超 8000 个账号被封（图源：TechCrunch）

    你只是往 Discord 上传了一张棋盘截图，或者游戏贴图，甚至是一张带方格的透明背景图，账号就突然没了。过去两个月，超过 8000 名用户经历了这种事——而锅不在他们，在 Discord 的 AI 审核系统出了 bug。

    一张棋盘图引发的误封

    Discord 已经承认，从今年 5 月起，它的自动安全系统把一批完全无害的图片误判成了有害内容：电子表格、棋盘、游戏纹理，还有白底和灰底的透明背景，统统中招。光是上周末，又有 200 个账号被误封。公司说问题已经修好，受影响账号正在陆续恢复。

    “我们的系统会把内容与已知有害材料做匹配，这种相似匹配可能产生误报，所以按设计，理应有信任与安全团队的人工复核再采取行动。”——Discord 官方说明

    Discord 在 X 上解释过这套机制：系统会把用户上传的内容，跟已知有害材料的数据库做相似度匹配，初衷是抓非法内容。问题出在流程的最后一环——一个 bug 让系统跳过了人工复核，直接把账号给封了。换句话说，本该”先审核、后处罚”的设计，被这个漏洞绕了过去。

    用户为什么这么愤怒

    不少人在 X 和 Reddit 上吐槽，自己只是传了张带方格图案的图就被永久封禁。有人怀疑，Discord 的审核模型对方格图案特别敏感，因为这些图案以前常被人拿来遮挡、伪装违规内容，系统学”歪”了。对把 Discord 当工作沟通、游戏社群或远距离社交主阵地的用户来说，这种无差别封号代价不小。

    • 一个游戏制作人说，自己靠它联系所有合作方，账号没了等于断了线；
    • 误判发生时，用户先被扣上最严重的安全帽子、先被踢出门，事后才轮到申诉；
    • 自动化审核一旦出错，替你背锅的是成千上万个真实的人。

    Discord 不是孤例。去年 Instagram、Facebook 群组就出现过大规模莫名封号，很多人怀疑是 AI 审核的锅，但 Meta 从没公开认过。Tumblr 也挨过类似骂。现在 Meta 的监督委员会正在逼平台提高透明度。

    最扎心的不是 bug，是代价结构

    这件事最让人不舒服的地方，在于它的代价分配：误判发生时，用户先被定罪、先被踢出，申诉是后面的事。在信任与安全这件事上，流程往往和算法一样重要。AI 初审加人工复核的混合模式喊了很久，但 Discord 这跤说明，只要中间任何一环断了，受伤的就是普通用户。把误报率当成硬指标公开，可能比事后修 bug 更有意义。

  • Reddit 用 AI 反 AI 垃圾：每天拦 2300 万次，背后是门 GEO 生意

    Reddit 用 AI 反 AI 垃圾：每天拦 2300 万次，背后是门 GEO 生意

    AI 盾牌机器人正在过滤社交平台上的垃圾与机器人内容
    Reddit 用 AI 检测系统对抗 AI 生成的垃圾内容。配图由 AI 生成

    如果有人说“用 AI 来治理 AI 制造的垃圾”，你可能会觉得这是句绕口令。但 Reddit 现在真在这么干。这家公司最近公布了一组数字：靠一套升级过的 AI 垃圾检测系统，他们每天在内容被真人看到之前，就拦掉 2300 万次垃圾浏览；每天新抓到大约 2.5 万条“像垃圾的帖子和评论”；顺手废掉将近 200 万个水军刷出来的假赞。

    Reddit 这波操作，表面是清理社区，底下其实藏着一股更具体的焦虑：有人正在用 AI 批量生产内容，往 Reddit 里灌，目的不是跟你聊天，而是去影响 ChatGPT、谷歌 AI 搜索会给出什么答案。

    新型“搜索引擎优化”：驯化聊天机器人

    这事儿有个新名字，叫 GEO（生成式引擎优化），也有人叫它 AEO。逻辑不复杂：现在 AI 聊天机器人在回答问题时，特别爱引用 Reddit 的帖子。于是品牌方发现，只要在 Reddit 高流量版块里悄悄埋几句产品好评，成本极低，却能左右那些机器人推荐什么。The Verge 就点名了一家叫 RedRover 的公司，公然揽活，派 AI 智能体到 Reddit 和博客上铺量内容，既冲谷歌排名，也冲 ChatGPT 的答案。

    “我们最管用的工作，发生在帖子被任何人类看到之前。”Reddit 在自己的公告里写道。他们不再等违规内容流到社区里才判断好坏，而是从源头就掐断。

    具体怎么拦？Reddit 说，账号一创建，系统就开始盯信号，把可疑角色挡在发帖之前。对那些真的进来的，他们用大模型去识别那种特别隐蔽、有组织的“假互动”和“人造热度”——这类套路老系统经常看走眼。最近他们还加了一道：凡是看着像机器人的可疑账号，都会被要求证明自己是真人。过去三个月，每天作废的假赞接近 200 万个。

    从“删帖慢”到“五秒内”

    不只是垃圾内容。在治理仇恨、暴力这类有害信息上，自动化也把效率拉满了：从发现到处理的平均时间，压到了 5 秒以内，用户接触到有害内容的概率降了四成多。对一个有 21 年抗机器人历史的老社区来说，这算一次明显的升级。

    说到底，Reddit 这套打法等于亲口承认了一件事：光靠人工审核，已经追不上 AI 辅助的操纵了。当“投喂聊天机器人”变成一门生意，平台能拿出来的、唯一现实的反制，就是同样用 AI、在更大规模上做检测。至于这场猫鼠游戏谁先累，现在还看不出来。

  • Meta 紧急关掉 Instagram AI 换脸功能：上线四天就认错

    这周科技圈又上演了一出熟悉的戏码：一个大公司推出一个「听起来很酷」的 AI 功能，用户还没玩热乎，舆论和监管机构已经把它按了回去。这次的主角是 Meta——它给 Instagram 加的那个「@ 一下公开账号就能拿对方照片生成 AI 图」的功能，从宣布到下线，前后不到四天。

    Meta Muse Image 通过 @ 提及公开 Instagram 账号生成 AI 图
    Meta AI 的 Muse Image 曾允许用户 @ 提及公开 Instagram 账号来生成 AI 图（图源：The Verge）

    一个 @ 就能「借用」别人的照片

    事情是这样的。Meta 本周早些时候宣布，在 Meta AI 里生成图片时，你可以直接 @ 提及某个公开的 Instagram 账号，让 AI 参考这个账号的内容来出图。初衷听起来挺正当：给创作者一个好玩的工具，顺便让用户自己决定「我的公开内容能不能被这么用」。

    问题出在默认设置上。按照最初的设计，任何公开 Instagram 账号的内容，都可以被塞进别人的 AI 创作里，而且不需要账号主人点头。换句话说，你的头像、你的照片，别人动动手指就能拿来生成一张以你为主角的 AI 图——而你全程可能毫不知情。

    「我们听到了反馈，这个功能没踩在点上，所以它不再可用了。」—— Meta 关于 Muse Image 的更新说明

    批评来得又快又猛

    功能上线后，Meta 确实留了一个「退出」开关，但你得自己钻进设置里翻才能找到。这个设计本身就招来一片骂声。全国性性剥削中心的负责人 Haley McNamara 说得更重：这不仅明摆着侵蚀了每个人对自己肖像的权利，还成了色情勒索和其他诈骗者的现成工具；先把高风险设计甩出来，再让用户自己费劲去退出，这完全说不过去。

    演员工会 SAG-AFTRA 也发文提醒会员去关掉这个功能，还专门写了一份操作指南。对一个拥有几十亿用户的平台来说，这种「默认开放、自己退出」的套路，碰到深伪和肖像权议题，天然就是火药桶。

    为什么这次回滚这么快

    从宣布到关停只隔了几天，速度本身就很说明问题。过去这类争议往往要扯上几周甚至更久，但 2026 年的舆论环境里，用户、行业组织和媒体的反应已经快到一个产品可以用「天」来计算生死。Meta 自己的措辞是 feature「missed the mark」（没踩准点），算是体面地认了个错。

    • 功能的触发方式太轻巧：一个 @ 就能调用他人公开内容，滥用门槛极低
    • 「默认开通、主动退出」把保护责任推给用户，触碰了深伪与肖像权红线
    • 在勒索、诈骗风险面前，创意工具的便利很难站得住脚

    留给行业的提醒

    这次回滚并不意味着 Meta 放弃了 AI 生图。Muse Image 本身还在，被砍掉的只是「拿公开账号当素材」这一条路径。但它给所有做生成式 AI 的团队提了个醒：当工具能直接动用真实人物的脸和身份时，「创意自由」和「基本权利」之间的天平，用户和监管都不会让你随便摆。

    对普通用户来说，最实在的一课也许是：你的公开资料从来不只是「公开」那么简单，平台一句「你可以退出」并不能替你挡掉所有风险。

  • 社交媒体把算法权还给用户：Threads、Instagram、TikTok都在做的「你的算法」是什么？

    社交媒体把算法权还给用户：Threads、Instagram、TikTok都在做的「你的算法」是什么？

    社交媒体算法个性化
    用户正在拿回算法控制权

    用了这么多年社交媒体，你有没有过这种感觉——明明只关注了几个感兴趣的话题，结果刷出来的内容全是平台想让你看的。点赞了几条猫咪视频，接下来三天全是猫；搜了一下某款耳机，信息流里开始反复出现测评和广告。算法在背后替你做决定，而你只能被动接受。

    这个局面最近开始出现变化。Threads、Instagram、TikTok 这几家平台，正在把一部分算法控制权交还给用户。不是让你彻底关掉推荐，而是让你可以告诉系统「多给我看这个」、「少给我看那个」——而且是以一种比以往更自然的方式。

    Threads 的「Your Algo」：从公开喊话到私密设置

    Threads 的动作最快。2026年2月，它上线了一个叫「Dear Algo」的功能，思路挺有意思：你想调整信息流，就发一条公开帖子，比如写「Dear Algo，多给我看播客相关的内容」。系统读取这条帖子之后，就会按你的要求调整推荐。这功能有点像给算法写信，但问题是——你得公开发帖，相当于把自己的偏好暴露给所有人。

    到了6月16日，Threads 推出了升级版，叫「Your Algo」。这次不需要发公开帖子了，直接在设置里调整，私密操作。你可以告诉 Threads 想多看哪些话题、少看哪些，还能选择这个偏好的有效期是1天、3天还是7天。比如说，世界杯期间你想多看足球内容，比赛结束就不想被刷屏了，那设个7天就行。

    Instagram 把算法面板摆到了台面上

    Instagram 也在做类似的事情。2025年12月，它先在 Reels 上测试了「Your Algorithm」工具，到2026年6月，这个功能已经扩展到主信息流、搜索页和 Reels 全场景。你在设置里点开这个工具，就能看到 Instagram 当前认为你感兴趣的那些话题标签，然后你可以手动调整——哪些想多看，哪些不想看了，系统会跟着更新。

    Instagram 负责人 Adam Mosseri 说了一句话挺有意思的：过去社交媒体的排名模型用的技术对用户是不透明的，但现在有了大语言模型，推荐系统可以变得更容易理解——系统可以告诉你「为什么这条内容会出现在你的信息流里」，而你也可以直接告诉系统你的偏好。

    TikTok 走得更早：关键词过滤器能懂同义词

    TikTok 走得更早一些。它的「Manage Topics」工具2024年就上线了，用户可以在设置里针对不同类型的内容（体育、旅行、幽默、时事、舞蹈、美食等等）调整滑块，控制这类内容在「For You」页出现的频率。2025年，TikTok 又加了一层 AI 驱动的智能关键词过滤器——你过滤了「装修」，系统会自动把「翻新」、「装潢」这些同义词也一并过滤掉。

    从「电视台」到「流媒体」：算法控制权的长期转向

    这三家平台做的事情，本质上是一个方向的探索：把社交媒体信息流从「电视台」变成「流媒体服务」。电视台放什么你只能看什么，流媒体服务你可以选想看的类型、甚至让系统按你的口味推荐。用户得到的体验更个性化，平台得到的是更高的用户停留时长——这是一个双方都能接受的方向，前提是平台真的把控制权给了用户，而不是表面上让你选、背地里还是按自己的逻辑排。

    过去十年，社交媒体的核心争议之一就是「算法黑箱」——用户不知道自己为什么看到某些内容，也没办法改变它。现在平台开始让步，把一部分控制权交出来，这背后有监管压力的因素，也有竞争的因素——如果用户在一个平台上能更好地控制自己的信息流，他们就更不愿意离开。

    当然，事情没那么简单。你能调整算法，不代表算法就完全按你的意思来。平台仍然掌握着推荐系统的核心逻辑，你给出的偏好信号只是其中的一个输入变量。而且，当你告诉系统你想多看什么内容的时候，你也在给平台提供更多关于你的数据。这到底是在拿回控制权，还是在用另一种方式让平台更了解你？这个问题没有简单答案。

    但至少，方向是对的。社交媒体用了十几年才走到这一步——让用户有能力对算法说「我要多看这个」、「我要少看那个」。不管平台背后的动机是什么，用户能拿到更多控制权，总不是一件坏事。