标签: AI垃圾内容

  • Reddit 用 AI 反 AI 垃圾:每天拦 2300 万次,背后是门 GEO 生意

    Reddit 用 AI 反 AI 垃圾:每天拦 2300 万次,背后是门 GEO 生意

    AI 盾牌机器人正在过滤社交平台上的垃圾与机器人内容
    Reddit 用 AI 检测系统对抗 AI 生成的垃圾内容。配图由 AI 生成

    如果有人说“用 AI 来治理 AI 制造的垃圾”,你可能会觉得这是句绕口令。但 Reddit 现在真在这么干。这家公司最近公布了一组数字:靠一套升级过的 AI 垃圾检测系统,他们每天在内容被真人看到之前,就拦掉 2300 万次垃圾浏览;每天新抓到大约 2.5 万条“像垃圾的帖子和评论”;顺手废掉将近 200 万个水军刷出来的假赞。

    Reddit 这波操作,表面是清理社区,底下其实藏着一股更具体的焦虑:有人正在用 AI 批量生产内容,往 Reddit 里灌,目的不是跟你聊天,而是去影响 ChatGPT、谷歌 AI 搜索会给出什么答案。

    新型“搜索引擎优化”:驯化聊天机器人

    这事儿有个新名字,叫 GEO(生成式引擎优化),也有人叫它 AEO。逻辑不复杂:现在 AI 聊天机器人在回答问题时,特别爱引用 Reddit 的帖子。于是品牌方发现,只要在 Reddit 高流量版块里悄悄埋几句产品好评,成本极低,却能左右那些机器人推荐什么。The Verge 就点名了一家叫 RedRover 的公司,公然揽活,派 AI 智能体到 Reddit 和博客上铺量内容,既冲谷歌排名,也冲 ChatGPT 的答案。

    “我们最管用的工作,发生在帖子被任何人类看到之前。”Reddit 在自己的公告里写道。他们不再等违规内容流到社区里才判断好坏,而是从源头就掐断。

    具体怎么拦?Reddit 说,账号一创建,系统就开始盯信号,把可疑角色挡在发帖之前。对那些真的进来的,他们用大模型去识别那种特别隐蔽、有组织的“假互动”和“人造热度”——这类套路老系统经常看走眼。最近他们还加了一道:凡是看着像机器人的可疑账号,都会被要求证明自己是真人。过去三个月,每天作废的假赞接近 200 万个。

    从“删帖慢”到“五秒内”

    不只是垃圾内容。在治理仇恨、暴力这类有害信息上,自动化也把效率拉满了:从发现到处理的平均时间,压到了 5 秒以内,用户接触到有害内容的概率降了四成多。对一个有 21 年抗机器人历史的老社区来说,这算一次明显的升级。


    说到底,Reddit 这套打法等于亲口承认了一件事:光靠人工审核,已经追不上 AI 辅助的操纵了。当“投喂聊天机器人”变成一门生意,平台能拿出来的、唯一现实的反制,就是同样用 AI、在更大规模上做检测。至于这场猫鼠游戏谁先累,现在还看不出来。

  • Meta搞了个AI生成点击诱饵新闻推送,质量差到离谱

    你刷社交平台的时候,有没有刷到过那种标题特别抓眼球,点进去发现内容空洞得要命的“新闻”?现在Meta直接自己用AI生成这种内容,推送给Meta AI应用的用户。

    AI生成的新闻比人工写的还水

    据The Verge的报道,Meta在独立的Meta AI应用的“为你推荐”板块,上线了AI生成的新闻推送功能,内容全是AI写得,配图也是AI画的,质量差得一塌糊涂。

    比如针对驻伦敦的记者,推送的内容全是英式风格的,什么茶、礼仪、酒吧、王室、足球,还有《皇家管家终于解决了先加奶还是先加茶的大辩论》这种莫名其妙的文章。同事收到的推送更离谱,全是奢侈品手表相关的内容,什么《我的假劳力士实验》《劳力士等待名单幻象背后的残酷数学》。

    这些内容全都是AI生成的,没有实质信息,也没有来源标注。更离谱的是,有些配图里居然出现了已经去世的伊丽莎白二世女王,还出现了两个,明显是AI生成的错误。

    Meta装糊涂装得挺像

    Meta之前还说要标注AI生成的内容,结果这个推送里一点标识都没有。The Verge把这个事儿曝光之后,Meta才说要下架这个功能,但为啥要搞这个功能,有没有 safeguards,会不会生成公众人物的图像,这些问题Meta一个都没回答,只说这是小范围测试,之后不会继续推了。

    AI生成的伊丽莎白二世女王图像
    Meta AI应用生成的包含两位伊丽莎白二世女王的图像(图源:The Verge)

    但其实这个测试范围一点都不小,The Verge的记者里起码有四个都能用到这个功能。至于为啥要搞这个,大家也都能猜到——就是为了提升用户留存,让用户多花时间在这个应用上,至于内容质量、真假,Meta根本不在乎。


    • AI生成的新闻内容无实质信息,也无来源标注
    • 配图存在明显错误,包括生成已故公众人物图像
    • Meta未对功能目的、安全措施等问题作出合理解释
  • AI”虚拟网红”正在占领社交媒体,而你可能根本没看出来

    AI”虚拟网红”正在占领社交媒体,而你可能根本没看出来

    AI虚拟网红Aitana Lopez
    Aitana Lopez,由西班牙创意机构The Clueless打造的AI虚拟网红

    几年前,如果你在社交媒体上刷到一个AI生成的”网红”,大概率一眼就能认出来。那些数字面孔总带着某种说不清的怪异感——皮肤过于完美,光影不太对劲,整体感觉像PS教程里的高级作业。

    但现在情况变了。越来越多由AI驱动的内容创作者正在涌入你的时间线,而且它们看起来——至少第一眼——和真人没什么两样。

    从”一眼假”到”以假乱真”

    最早那批虚拟网红其实挺好辨认的。Lil Miquela留着刘海、长着雀斑;Imma有一头泡泡糖粉色的短发;Shudu Gram的皮肤完美到不真实。它们都是明确的”数字产物”,每次合作都会大张旗鼓地发通稿、搞宣传。

    那时候,做一个AI网红是件很”重”的事。你需要工作室、资金、团队协调,还得花大量精力打磨细节。普通用户根本玩不转。

    但工具民主化之后,事情开始失控。现在你随便刷一刷TikTok或者Instagram,很可能会刷到一堆你根本没意识到是AI生成的账号。

    像Emily Pellegrini和Aitana Lopez这样的角色,已经接近”真人网红”的观感——至少接近你大学里那个条件优渥但没怎么联系的朋友的现实:永远在不错的餐厅、漂亮的地方发帖,或者从科切拉音乐节、温布尔登网球锦标赛发帖。算不上接地气,但话说回来,大多数职业网红也不接地气。

    AI内容创作者的数量已经多到平台自己也搞不清楚到底有多少是假的。除了要求给AI生成内容贴标签,大多数平台的规则不过是把这些内容硬塞进”诈骗””垃圾信息””冒充”这些现有类别里。但AI虚拟形象往往并不 neatly 归入这些类别中的任何一个。

    假人太多了,平台也头疼

    这些AI账号能逃避检测,一部分原因是制作它们的技术已经大幅改进。静态图像现在好到乍一看足以以假乱真——尤其是在本来就充斥着大量善用打光、滤镜和编辑效果的真实网红的feed里。

    视频和音频也在快速追赶。现在的工具可以给虚拟人赋予能够骗过粗心刷内容用户的声音和动作。而且这些工具不再是小众玩家或者贵到用不起的东西。谷歌、OpenAI的主流产品,和Higgsfield、HeyGen、ElevenLabs这样的专业服务并存。只要花点功夫,几乎任何人都可以做一个AI网红——或者一群——不需要工作室,不需要专业设备,也不需要(太多)钱。

    这让AI内容创作者的影响力规模变得极难衡量。平台不会公布有多少用户是”假人”,大多数AI虚拟形象也不会火到能获得早期那批虚拟形象受到的媒体关注。

    在少数几个高曝光度案例之下,是大量完全不为人知的账号。它们中的一些在推销无良代发货的垃圾产品,一些用假照片诈骗男性钱财,还有一些在传播虚假信息和种族主义言论。当然,还有大量的擦边内容。


    平台的态度:既不支持,也不打击

    面对这股AI内容浪潮,社交媒体平台的态度可以用”矛盾”来形容。它们一边把AI宣传为创意工具,一边又试图阻止垃圾内容淹没自己的服务。

    YouTube、TikTok、Instagram都制定了给合成媒体贴标签的规则,尤其是逼真的那种。但它们推广自己的AI工具套件——包括一些可以克隆或模拟用户的工具。这些规则往往侧重于单个帖子,而不是其背后的账号和人设,让AI网红处于灰色地带。

    目前来看,平台似乎满足于处于这种模糊地带。对它们来说,参与度仍然是参与度,不管它来自假创作者还是真创作者。只要合成创作者继续发帖,不超出现有规则的范围,平台就没有什么动力去主动打击。

    有市场研究公司估计,到2030年,虚拟网红市场的规模可能超过600亿美元,高于今年的约120亿美元。文化影响力也在增长——有AI网红奖项、选美比赛,有专门的人才机构代表合成创作者,还有一个蓬勃发展的市场:合成创作者出售课程和工具,承诺帮助人们制作和运营自己的”无脸”被动收入账号。

    清算迟早会来

    但这种”放任”能持续多久?AI垃圾内容已经让人恼火,一个平台能承载的这类内容只有那么多,直到它变得几乎无法使用。

    还有一个更根本的问题:如果这么多虚拟形象都是为了从人类用户身上赚钱而建立的,那么当人类用户的池子干涸时会发生什么?愿意购买课程和工具来建立自己网红的人只有那么多。

    这是假设社交媒体能在AI网红的涌入中幸存下来。根据定义,社交媒体需要一定临界数量的人类来保持”社交”属性。如果不加控制,网络将在这些假人的重压下崩溃,人类用户不可避免地被赶走。

    欧盟的《人工智能法案》可能是一个驱动力。该法规将要求生成式AI系统的部署者明确披露AI生成或操纵的内容,这可能会迫使公司加强标记AI内容,否则可能面临巨额罚款。但即便如此,重点仍然主要是内容,而不是发布内容的账号是否代表一个真实的人。

    和社交媒体的很多事情一样,负担又落回了用户身上。很多平台已经有效地将审核AI内容的任务委托给用户,依靠他们发现并举报可疑账号。但自我审核对于旨在逃避注意的事物来说,是一个糟糕且不可持续的答案。

    如果平台拒绝自己在真人和非真人之间划清界限,至少现在,用户正在用自己的方式划清界限。对无AI空间的需求正在增长。毕竟,如果你消费的内容背后没有真实的人,那”社交”媒体还剩下什么?

    📎 原文来源:AI ‘content creators’ are getting harder to spot — The Verge | 作者:Robert Hart | 发布时间:2026年6月7日
  • 平台明明能让你屏蔽AI垃圾内容,但它们就是不肯

    现在上网,AI生成的内容已经到了躲都没处躲的地步。但这件事本不必如此。

    过去一年,YouTube、Instagram、TikTok都在大力推内容认证,不少平台已经会自动给AI生成的图片、视频、音乐打标签,跟真人创作的内容做区分。问题是——这些标签只能让你刷到的时候心里有数,却没法让你直接把这类内容过滤掉。

    一个简单的过滤器就能解决这个问题,我们只需要一个”AI”勾选框来切换就行。我联系了Meta、谷歌、TikTok和Spotify,询问他们是否计划让用户过滤AI标签系统认证过的各类内容。结果没有一个给出肯定答复。

    现有的标签体系根本没用

    TikTok或YouTube的信息流里,你可能会注意到有些视频描述里有AI披露标识,或者视频画面上叠了个信息标签。Meta也是类似操作,给Facebook和Instagram上携带AI识别元数据、或者创作者主动披露的内容打上”AI信息”标签。

    但如果你想主动避开所有带这类标签的内容——这完全合情合理,毕竟AI生成内容除了伦理和环境问题,本身质量也堪忧——实际操作起来非常困难。

    少数有过滤功能的平台,做得也很敷衍

    目前见过有AI内容过滤功能的平台里,DeviantArt算一个,但它的设置藏得极深——你得先注册账号,然后把鼠标悬停在页面右上角的用户图标上,才能找到”AI内容设置”菜单。两个选项:默认”显示AI内容”,或者”抑制AI内容”。我试了,没看出明显区别。

    Pinterest也有类似系统,藏在设置里的”优化你的推荐”下面,可以切换特定类别的AI内容显示。据我的经验,效果远称不上完美,就算把过滤器开到最大,还是能看到大量有可疑AI痕迹的图片。


    平台为什么不乐意

    原因其实不复杂。平台本身也在制造用来生成这些内容的工具。Meta、Spotify、谷歌不光托管AI生成的图片、广告和音乐,他们还在推销创造这些内容的工具。如果允许用户一键过滤所有AI内容,等于直接打击他们从AI产业获利的所有努力。

    还有一个更尴尬的原因:他们知道现有的标签系统有多不靠谱。C2PA和SynthID这类基于溯源的系统,在内容创作时嵌入元数据或隐形水印,但很多开源AI模型根本不会这么做,而且元数据太容易被剥离。基于检测的方法分析数字内容模式来评估AI生成的可能性,但误报率很高,目前这些方案都无法在大规模场景下有效工作。

    平台推出标签功能,很大程度上是为了应付监管机构和批评者,至于实际能不能帮用户区分真假内容,那是另一回事。

    一个更实际的替代方案

    与其费力给所有AI内容打标签,不如反过来——给经过验证的真人创作者打标签。这不一定能识别这些创作者发布的合成内容,但至少能帮你少看到那些炮制低质量垃圾内容的未验证内容农场。

    Instagram的负责人Adam Mosseri曾经提过这个方向,Spotify也已经在做”已验证艺人”功能。如果YouTube和Instagram愿意推,这比现在这套形同虚设的AI标签体系要实用得多。

    AI垃圾内容过滤示意图
    平台有能力做AI内容过滤,但它们选择不做