标签: AI垃圾内容

  • Suno 要给水印了:AI 神曲满天飞,它终于动手治垃圾内容

    AI 写歌这两年有多疯,刷过音乐平台推荐流的人都懂。Suno 这个估值 54 亿美元、用户破亿的玩家,最近终于放话要管管自己造出来的“水”。CEO 兼联合创始人 Mikey Shulman 写了一篇长博客《负责任地共建音乐未来》,把公司接下来的原则和动作摊开了讲。

    Suno AI 音乐水印计划
    Suno 公布反垃圾内容计划(图源:The Verge)

    水印 + 指纹,给每首 AI 歌打上记号

    Suno 说要推出一套新的透明化工具,外加水印和音频指纹技术。核心思路很简单:让 Suno 生成的内容能被识别出来。Shulman 强调这套做法跟“正在浮现的行业标准”对齐,意思是以后不光 Suno 自己能认,第三方平台也能顺着水印和指纹追到源头。

    我们的做法与正在浮现的行业标准保持一致,让识别 Suno 生成的内容变得更容易。

    下载也要收口,跟唱片公司的和解有关

    下载政策是另一块。去年 Suno 跟华纳音乐集团(WMG)达成和解后就放风要改下载规则,华纳和 Udio 的和解更是直接把 Udio 的下载功能整个砍了。Suno 当时说,下载会只面向付费订阅用户,而且每人每月有次数上限——具体数字到现在还没公布。

    透明,但不替别人做价值判断

    Shulman 在博客里反复念叨“透明”“尊重版权方”“人类创作的艺术很重要”这几句。但他也很克制地补了一刀:Suno 不打算去评判某首作品本身值不值得存在,到底披不披 AI 的外衣,最终还是艺术家和平台自己决定。

    这不是 Suno 该去评判单个作品价值的地方,要不要披露用了 AI 工具,最终是艺术家和平台的事。

    治标容易,治本难

    话是漂亮话,落地的坑也不少。Suno 这波没给出技术细节,媒体追问 specifics 也没回。更现实的问题是:水印和指纹能在自家平台内生效,可一旦音频被下载、转码、再上传到别处,追踪链条就很容易断。它想拉拢发行平台一起打欺诈和滥用,但这套联盟能不能成,还得看别人买不买账。

    • 动作:上线水印 + 音频指纹,让 Suno 生成内容可识别、可溯源
    • 下载:延续与华纳和解后的收口方向,仅付费用户可下、限月度次数
    • 立场:强调透明与尊重版权,但把“是否披露 AI”的判断权留给艺术家和平台
    • 未知数:技术细节未公开,跨平台追踪与生态合作仍是问号

  • Reddit成AI SEO新战场,版主开始围剿软广机器人

    Reddit 上的品牌软广正被 AI 批量制造
    Reddit 上的品牌软广,正被 AI 批量制造(图源:The Verge)

    一个护肤版块的”真人推荐”翻车了

    今年早些时候,一个护肤爱好者论坛里有人问大家试没试过某款次氯酸喷雾。底下几十条回复里,有个叫 Primary-Taro4254 的账号说得挺实在:自己没试过那个牌子,但一直在用 Honeydew Labs 的类似喷雾,感觉不错,还顺手补了一句这个牌子浓度 0.02%、拿到了湿疹协会的认可。乍一看,就是个热心网友。

    可有人较真去翻了翻他的主页,发现这位”热心网友”对 Honeydew Labs 的爱有点过头——他不只在一条帖子里夸,在好几个毫不相关的产品讨论里都冒出来安利同一款喷雾,还跨了好几个护肤子版块。在一个有着上百万周活用户的版块里,很快有网友发帖提醒大家:当心,这大概率是营销机器人。

    “提醒一下大家,注意 Honeydew Labs 的次氯酸产品,那大概率是营销机器人。”——被网友识破后,r/SkincareAddiction 里的警示帖

    品牌为什么盯上了 Reddit 的评论区

    这件事小的方面是个别品牌的骚操作,大的方面却和 AI 搜索有关。过去一年,Google 的 AI Overview、ChatGPT 这类工具在回答问题时,大量直接引用 Reddit 里的讨论。Reddit 的群众智慧和真实语气,恰恰是 AI 答案最爱抓的内容。

    这就导致一个变化:在 Reddit 上被提及,不再只是社区荣誉,而是能左右 AI 搜索结果的新资产。品牌方很快发现,只要让”真实用户”在相关版块铺一些体验帖,就有机会被 AI 搜索引擎当成答案喂给用户——等于用接近零的成本,做了一轮精准广告。

    版主靠什么揪出机器人

    Reddit 的版主大多是志愿者,他们没有算法黑盒,靠的是最朴素的人肉模式识别。

    • 同一个账号跨版块、跨话题只推一个产品,话术还出奇一致;
    • 推荐的”专业细节”过于工整,像提前写好的卖点而非随口分享;
    • 在不同产品的帖子里插入同一段体验,语境对不上。

    这次 Honeydew Labs 的账号就是栽在”太专一”上——真人很少会对一款喷雾爱到逢帖必提。


    这股风气不会只停在一个版块

    真正值得警惕的,是 AI 把”水军”的成本压到了地板。过去养一批人写软文要花钱,现在用模型批量生成看似真人的评论,边际成本几乎为零。一种叫 GEO(生成式引擎优化)的新行当正在冒头:品牌不再只优化搜索引擎的排名,而是想办法让自己想推的内容,出现在 AI 给用户的答案里。论坛、问答区、商品评论,全成了新的投放位。

    Reddit 眼下还能靠社区自治勉强挡一挡,可一旦规模上来,靠志愿者肉眼识别注定跟不上。更深的难题是:当内容既能由 AI 生成、又能被 AI 搜索引用,”这条评论到底是不是人写的”这个问题,平台、品牌和用户三方都很难自证。信任的锚点,正在从”谁说的”滑向”能不能溯源”。

  • 三大唱片公司联手出手:AI 做的歌,别想上榜

    七月的最后一天,环球音乐、索尼音乐、华纳音乐这三家握着全球录制音乐大半江山的公司,拉上 Believe、BMG、Concord、Dirty Hit、Glassnote、HYBE、Mom+Pop、Partisan 等一串厂牌,抛出了一份关于 AI 歌曲能不能进官方榜单的提案。答案写得很干脆:基本上,不能。

    AI 音乐概念图
    图片来源:The Verge / Shutterstock

    提案画了六条线

    这份被国际唱片业协会(IFPI)公开背书的全球原则,核心是一段”排除条款”式的表述——不是列出什么歌可以上榜,而是规定只要有理由怀疑某首歌不满足全部条件,榜单就不该收它。

    使用生成式 AI 服务制作的录音,若有理由认为其未能同时满足以下全部标准,就不应被纳入官方榜单:所使用的生成式 AI 服务获得了适当授权且合法;作品实质上由人类创作;不存在播放量或榜单操纵方面的疑虑;符合版权、邻接权、人格权等适用法律;作品的发行不违反所用生成式 AI 服务的服务条款;在下游平台(如流媒体服务)上,已按照适用法规和行业标注标准,向消费者适当标示了生成式 AI 的使用。

    六条里,前四条勉强还能靠合同和法务去核对,第五条属于平台自查,唯独第二条——”实质上由人类创作”——像一句留白。

    “实质上由人类创作”到底怎么算

    The Verge 的周末编辑 Terrence O’Brien 在稿子里连着两次把这个词组拎出来,后面跟一句”whatever that means”(谁知道这是什么意思)。他的不耐烦挺有道理:一首歌用 AI 补了一段和声算不算?人写词写旋律、AI 编曲混音算不算?歌手用 AI 修音准这种早就普及十几年的操作,又划到哪一边?

    同样悬着的还有”榜单操纵疑虑”。刷流量本来就是老问题,跟 AI 没有必然关系,把它塞进这套原则里,等于给榜单方多开了一个可以自由裁量的口子。The Verge 就此向索尼音乐、环球音乐和 Mom+Pop 求证,三家都没有第一时间回应。

    标准模糊在行业提案里并不罕见,有时甚至是刻意的——先把大方向立住,细节留给后面谈。但音乐榜单是个要给出确定名次的东西,模糊的准入条件迟早要落到某个具体判断上:某首歌到底进不进。

    比”贴标签”那套激进得多

    做个对照。此前 RIAA、IFPI、SAG-AFTRA 等机构推过一套标注方案,思路是给 AI 生成和 AI 辅助的音乐设计标准化标签,把判断权交还给听众——你知道这是 AI 做的,听不听随你。

    厂牌这份新提案把标注要求原样保留了,然后在后面加了一道闸门:标了还不够,不达标就别想进榜。

    • 标注方案管的是知情权,属于信息披露;
    • 厂牌提案管的是资格,属于市场准入;
    • 前者让 AI 歌曲和人类作品同场竞技,后者直接把它们分到两个赛道。

    这两种思路背后是完全不同的判断。标注派默认 AI 音乐会长期共存,得想办法把它纳进现有秩序;厂牌派则更接近于说,这批东西暂时不配和人类作品放在一张榜上排名。


    榜单机构还没接招

    提案发出来了,IFPI 也把分量压了上去,但截至目前没有任何一家榜单机构表示要采纳,Billboard 那边也只是照常报道了这件事。这其实是整件事最关键的一环——原则写得再齐整,最终拍板的是 Billboard、Official Charts 这类机构,而它们要考虑的东西比厂牌复杂:一旦立规,就得有能力去核查每一首上榜歌的制作过程,这个成本谁来出。

    更微妙的是,三大厂牌自己也在跟 AI 音乐公司谈合作、谈授权。今天要求”实质上由人类创作”,明天如果自家艺人用授权模型做了一张专辑,这条线又该往哪儿挪。规则是他们提的,第一个被规则绊住的很可能也是他们。

    争的其实不是榜单

    榜单在今天早就不只是一份排行。它决定电台歌单、决定播放列表推荐权重、决定演出报价、决定唱片公司内部资源怎么分。把 AI 歌曲挡在榜单之外,等于挡住了一整条商业化通道。

    所以这份提案与其说是内容治理,不如说是分配权之争。真正的问题从来不是”AI 能不能做歌”——它已经在做了,而且有人在听。问题是这些歌能不能被算进那套沿用了几十年、分配着真金白银的计分体系里。厂牌给出的第一版答案是不能,接下来就看榜单机构愿不愿意接。

  • 领英上线“这看着像AI水文”按钮,顺手把自家的AI润色功能砍了

    刷领英的时候有没有那种感觉:一条帖子读下来结构工整、金句频出、每段都以一个反问收尾,但你合上手机之后完全想不起来它说了啥。领英自己也受不了了。周四它宣布上线一个新按钮,看到疑似 AI 生成的帖子,你可以点一下”看着像 AI 水文”。

    LinkedIn 领英应用界面
    领英正试图清理信息流里泛滥的 AI 生成内容|图:Nikolas Kokovlis / NurPhoto / Getty Images

    平台终于承认信息流被灌满了

    领英首席产品官 Hari Srinivasan 把话说得很直接:AI 水文是我们所有人的头号优先事项,我们真的很在意这件事。人们来领英是为了跟真实的人建立联系,分享真实的观点、想法和专业经验。

    人们来领英是为了跟真实的人建立联系,而不是读一堆机器批量生产的正确废话。——领英首席产品官 Hari Srinivasan

    这话从一家微软旗下的社交网络嘴里说出来,多少有点自我拆台的味道,毕竟微软是全球最积极推销 AI 写作工具的公司之一。但产品经理们显然算清了一笔账:如果信息流里全是机器写的东西,真人就没有留下来的理由。

    那个按钮不只是让你出气

    点击”看着像 AI 水文”并不是简单地把帖子举报掉。领英同时上了几套组合拳。它在训练新的分类器,专门识别 AI 水文和其他低质内容,被判定为水文的帖子会在”你可能感兴趣”这类站外推荐里被降权。用户点的那个按钮,正好给分类器提供人工标注信号,用来持续调模型。

    自动化防御那边的数字也放出来了:领英现在每天拦截数十万次自动化评论尝试,过去两个月还拦下了数百万次其他自动化操作。也就是说,问题的规模远比普通用户在信息流里看到的严重。

    写手会收到一条私下的提醒

    比较有意思的是另一项设计:领英会在用户自己的后台里私下提示——别人觉得你的内容因为 AI 味太重而显得不真诚。注意是私下,不是公开打标。领英的判断是,很多人只是用 AI 帮忙润色自己的想法,并非批量生产垃圾,给个提醒能让他们把文字改回人话,而不是直接把人赶走。

    更狠的一刀砍在自己身上。领英把此前那个用 AI 帮你写帖子的”增强你的帖子”功能下线了,换成一个只做校对、不改变语气的功能。一家平台主动关掉自己的 AI 写作入口,这个信号比任何按钮都清楚。

    整个互联网都在做同一件事

    领英不是孤例。上周 Newsletter 平台 Substack 上线了标识 AI 写作的工具,背后合作方是 Pangram;这家做 AI 内容检测的公司本周刚拿到 900 万美元新融资。再往前,Digg 在三月直接关停了它对标 Reddit 的应用,理由是搞不定涌进来的机器人。

    Cloudflare 给出的数据更能说明趋势:网络上的机器人流量已经超过了真人产生的请求,而且这个临界点比它此前的预测来得更早。

    本次更新的要点

    • 新增”看着像 AI 水文”按钮,用户反馈将用于训练识别模型
    • 新分类器降低低质 AI 内容在站外推荐中的曝光
    • 每日拦截数十万次自动化评论尝试
    • 在个人后台私下提示”内容显得不够真实”,引导作者改进
    • 下线 AI 代写功能,改为只做校对不改语气
    • 扩大主页与公司页认证范围,可屏蔽指定公司页的评论

    说到底,这套动作的核心不是反对 AI,而是重新给”真实”定价。当生成一千字的成本趋近于零,稀缺的就变成了有人味、有具体经验、有立场的表达。领英把 AI 代写按钮换成校对按钮,其实是在提醒所有用户一件事:内容值钱的部分,从来不是文字本身。

  • AI垃圾内容淹没互联网,这家靠“打假AI”的公司拿了900万美元融资

    互联网上的AI垃圾内容越堆越多,有人开始靠”打假”赚钱了。纽约初创公司Pangram刚拿到900万美元融资,领投的是Menlo Ventures,Haystack、ScOp、Script Capital和Cadenza跟投。它做的事情说白了就一句话:帮你分辨眼前这段文字、这张图,到底是人写的还是AI生成的。

    Pangram两位创始人Max Spero与Bradley Emi
    Pangram创始人Max Spero与Bradley Emi,两人都是斯坦福AI方向出身 | 图源:Pangram

    拿融资的同时,还发了两个新模型

    这轮融资官宣的同时,Pangram顺手上线了新一代文本检测模型Pangram 4,还有一个图像检测模型Pangram Image。官方给的数字挺激进:文本模型识别AI辅助写作和”人机混写”内容的准确率超过99%,而且专门强化了对”AI人味儿改写工具”(humanizer)的识别——就是那种号称能把AI文章洗得像真人写的软件。图像检测模型目前只开放研究预览,未来几周才会大范围放出。

    两位创始人Max Spero和Bradley Emi都是斯坦福AI和机器学习方向的毕业生,公司成立差不多两年。起因也很直接:ChatGPT火了之后,网上的机器人账号、AI批量生产的SEO垃圾文、还有Spero口中”由大模型驱动的俄罗斯虚假信息行动”一下子全冒了出来。

    Spero说得很实在:知道你正在读的东西是不是AI写的,非常值钱——如果是AI写的,你得提防幻觉、带着怀疑去读;如果是真记者认真调研写出来的,你可以选择信任。

    技术路子:不靠水印,靠”镜像训练”

    Pangram的做法和OpenAI、谷歌那套水印思路完全不同。他们先收集了几千万份确定是人类写的文档,然后给每一份都造一个”合成镜像”——让前沿大模型照着同样的主题、篇幅、语气再写一遍。模型在这海量的成对样本里,学会了AI写作时那些始终改不掉的风格习惯和用词偏好。图像那边同理,靠的是像素级统计分布的差异,而不是某家厂商埋的水印,所以跨模型通用,甚至能揪出”真实照片里嵌了一张AI图”这种套路。

    TechCrunch记者亲自上手测了一轮,结论是”很强但不完美”:纯AI生成的新闻稿一抓一个准,人工润色过的也大多逃不掉;让ChatGPT和Claude刻意模仿人类语气去骗检测器,基本没用。误伤率官方口径是万分之一,但实测中确实有几句记者亲手重写的句子被误判成AI。

    已经有大客户在用了

    • Substack最近把Pangram接进了平台,读者能看到自己关注的作者是不是用AI写的newsletter;
    • Quora、高校、出版社、猎头也都是它的API客户;
    • 个人用户每月20美元,Chrome插件能实时给X、LinkedIn、Reddit、Medium上的帖子打标,还会给你的信息流算一个”人类含量”健康分。

    这个赛道也不只它一家,Winston AI、Originality.ai、Copyleaks、GPTZero都在抢同一块蛋糕。大环境也在配合:开放论文库arXiv今年出了新规,投稿里要是发现作者没审查大模型输出——比如留着幻觉引用、或者”需要我再改改吗?”这种AI对话残留——直接封禁投稿一年。

    Spero倒是反复强调不想搞成”AI猎巫”,用AI辅助写作可以接受,前提是作者主动披露。但他对未来的判断相当冷峻:GPU的增速已经超过了新生儿的增速,如果不主动为人类内容撑腰,人类的声音迟早会被AI的洪流淹没。这门生意能做多大不好说,但需求只会越来越真实。


  • Reddit 用 AI 反 AI 垃圾:每天拦 2300 万次,背后是门 GEO 生意

    Reddit 用 AI 反 AI 垃圾:每天拦 2300 万次,背后是门 GEO 生意

    AI 盾牌机器人正在过滤社交平台上的垃圾与机器人内容
    Reddit 用 AI 检测系统对抗 AI 生成的垃圾内容。配图由 AI 生成

    如果有人说“用 AI 来治理 AI 制造的垃圾”,你可能会觉得这是句绕口令。但 Reddit 现在真在这么干。这家公司最近公布了一组数字:靠一套升级过的 AI 垃圾检测系统,他们每天在内容被真人看到之前,就拦掉 2300 万次垃圾浏览;每天新抓到大约 2.5 万条“像垃圾的帖子和评论”;顺手废掉将近 200 万个水军刷出来的假赞。

    Reddit 这波操作,表面是清理社区,底下其实藏着一股更具体的焦虑:有人正在用 AI 批量生产内容,往 Reddit 里灌,目的不是跟你聊天,而是去影响 ChatGPT、谷歌 AI 搜索会给出什么答案。

    新型“搜索引擎优化”:驯化聊天机器人

    这事儿有个新名字,叫 GEO(生成式引擎优化),也有人叫它 AEO。逻辑不复杂:现在 AI 聊天机器人在回答问题时,特别爱引用 Reddit 的帖子。于是品牌方发现,只要在 Reddit 高流量版块里悄悄埋几句产品好评,成本极低,却能左右那些机器人推荐什么。The Verge 就点名了一家叫 RedRover 的公司,公然揽活,派 AI 智能体到 Reddit 和博客上铺量内容,既冲谷歌排名,也冲 ChatGPT 的答案。

    “我们最管用的工作,发生在帖子被任何人类看到之前。”Reddit 在自己的公告里写道。他们不再等违规内容流到社区里才判断好坏,而是从源头就掐断。

    具体怎么拦?Reddit 说,账号一创建,系统就开始盯信号,把可疑角色挡在发帖之前。对那些真的进来的,他们用大模型去识别那种特别隐蔽、有组织的“假互动”和“人造热度”——这类套路老系统经常看走眼。最近他们还加了一道:凡是看着像机器人的可疑账号,都会被要求证明自己是真人。过去三个月,每天作废的假赞接近 200 万个。

    从“删帖慢”到“五秒内”

    不只是垃圾内容。在治理仇恨、暴力这类有害信息上,自动化也把效率拉满了:从发现到处理的平均时间,压到了 5 秒以内,用户接触到有害内容的概率降了四成多。对一个有 21 年抗机器人历史的老社区来说,这算一次明显的升级。


    说到底,Reddit 这套打法等于亲口承认了一件事:光靠人工审核,已经追不上 AI 辅助的操纵了。当“投喂聊天机器人”变成一门生意,平台能拿出来的、唯一现实的反制,就是同样用 AI、在更大规模上做检测。至于这场猫鼠游戏谁先累,现在还看不出来。

  • Meta搞了个AI生成点击诱饵新闻推送,质量差到离谱

    你刷社交平台的时候,有没有刷到过那种标题特别抓眼球,点进去发现内容空洞得要命的“新闻”?现在Meta直接自己用AI生成这种内容,推送给Meta AI应用的用户。

    AI生成的新闻比人工写的还水

    据The Verge的报道,Meta在独立的Meta AI应用的“为你推荐”板块,上线了AI生成的新闻推送功能,内容全是AI写得,配图也是AI画的,质量差得一塌糊涂。

    比如针对驻伦敦的记者,推送的内容全是英式风格的,什么茶、礼仪、酒吧、王室、足球,还有《皇家管家终于解决了先加奶还是先加茶的大辩论》这种莫名其妙的文章。同事收到的推送更离谱,全是奢侈品手表相关的内容,什么《我的假劳力士实验》《劳力士等待名单幻象背后的残酷数学》。

    这些内容全都是AI生成的,没有实质信息,也没有来源标注。更离谱的是,有些配图里居然出现了已经去世的伊丽莎白二世女王,还出现了两个,明显是AI生成的错误。

    Meta装糊涂装得挺像

    Meta之前还说要标注AI生成的内容,结果这个推送里一点标识都没有。The Verge把这个事儿曝光之后,Meta才说要下架这个功能,但为啥要搞这个功能,有没有 safeguards,会不会生成公众人物的图像,这些问题Meta一个都没回答,只说这是小范围测试,之后不会继续推了。

    AI生成的伊丽莎白二世女王图像
    Meta AI应用生成的包含两位伊丽莎白二世女王的图像(图源:The Verge)

    但其实这个测试范围一点都不小,The Verge的记者里起码有四个都能用到这个功能。至于为啥要搞这个,大家也都能猜到——就是为了提升用户留存,让用户多花时间在这个应用上,至于内容质量、真假,Meta根本不在乎。


    • AI生成的新闻内容无实质信息,也无来源标注
    • 配图存在明显错误,包括生成已故公众人物图像
    • Meta未对功能目的、安全措施等问题作出合理解释
  • AI”虚拟网红”正在占领社交媒体,而你可能根本没看出来

    AI”虚拟网红”正在占领社交媒体,而你可能根本没看出来

    AI虚拟网红Aitana Lopez
    Aitana Lopez,由西班牙创意机构The Clueless打造的AI虚拟网红

    几年前,如果你在社交媒体上刷到一个AI生成的”网红”,大概率一眼就能认出来。那些数字面孔总带着某种说不清的怪异感——皮肤过于完美,光影不太对劲,整体感觉像PS教程里的高级作业。

    但现在情况变了。越来越多由AI驱动的内容创作者正在涌入你的时间线,而且它们看起来——至少第一眼——和真人没什么两样。

    从”一眼假”到”以假乱真”

    最早那批虚拟网红其实挺好辨认的。Lil Miquela留着刘海、长着雀斑;Imma有一头泡泡糖粉色的短发;Shudu Gram的皮肤完美到不真实。它们都是明确的”数字产物”,每次合作都会大张旗鼓地发通稿、搞宣传。

    那时候,做一个AI网红是件很”重”的事。你需要工作室、资金、团队协调,还得花大量精力打磨细节。普通用户根本玩不转。

    但工具民主化之后,事情开始失控。现在你随便刷一刷TikTok或者Instagram,很可能会刷到一堆你根本没意识到是AI生成的账号。

    像Emily Pellegrini和Aitana Lopez这样的角色,已经接近”真人网红”的观感——至少接近你大学里那个条件优渥但没怎么联系的朋友的现实:永远在不错的餐厅、漂亮的地方发帖,或者从科切拉音乐节、温布尔登网球锦标赛发帖。算不上接地气,但话说回来,大多数职业网红也不接地气。

    AI内容创作者的数量已经多到平台自己也搞不清楚到底有多少是假的。除了要求给AI生成内容贴标签,大多数平台的规则不过是把这些内容硬塞进”诈骗””垃圾信息””冒充”这些现有类别里。但AI虚拟形象往往并不 neatly 归入这些类别中的任何一个。

    假人太多了,平台也头疼

    这些AI账号能逃避检测,一部分原因是制作它们的技术已经大幅改进。静态图像现在好到乍一看足以以假乱真——尤其是在本来就充斥着大量善用打光、滤镜和编辑效果的真实网红的feed里。

    视频和音频也在快速追赶。现在的工具可以给虚拟人赋予能够骗过粗心刷内容用户的声音和动作。而且这些工具不再是小众玩家或者贵到用不起的东西。谷歌、OpenAI的主流产品,和Higgsfield、HeyGen、ElevenLabs这样的专业服务并存。只要花点功夫,几乎任何人都可以做一个AI网红——或者一群——不需要工作室,不需要专业设备,也不需要(太多)钱。

    这让AI内容创作者的影响力规模变得极难衡量。平台不会公布有多少用户是”假人”,大多数AI虚拟形象也不会火到能获得早期那批虚拟形象受到的媒体关注。

    在少数几个高曝光度案例之下,是大量完全不为人知的账号。它们中的一些在推销无良代发货的垃圾产品,一些用假照片诈骗男性钱财,还有一些在传播虚假信息和种族主义言论。当然,还有大量的擦边内容。


    平台的态度:既不支持,也不打击

    面对这股AI内容浪潮,社交媒体平台的态度可以用”矛盾”来形容。它们一边把AI宣传为创意工具,一边又试图阻止垃圾内容淹没自己的服务。

    YouTube、TikTok、Instagram都制定了给合成媒体贴标签的规则,尤其是逼真的那种。但它们推广自己的AI工具套件——包括一些可以克隆或模拟用户的工具。这些规则往往侧重于单个帖子,而不是其背后的账号和人设,让AI网红处于灰色地带。

    目前来看,平台似乎满足于处于这种模糊地带。对它们来说,参与度仍然是参与度,不管它来自假创作者还是真创作者。只要合成创作者继续发帖,不超出现有规则的范围,平台就没有什么动力去主动打击。

    有市场研究公司估计,到2030年,虚拟网红市场的规模可能超过600亿美元,高于今年的约120亿美元。文化影响力也在增长——有AI网红奖项、选美比赛,有专门的人才机构代表合成创作者,还有一个蓬勃发展的市场:合成创作者出售课程和工具,承诺帮助人们制作和运营自己的”无脸”被动收入账号。

    清算迟早会来

    但这种”放任”能持续多久?AI垃圾内容已经让人恼火,一个平台能承载的这类内容只有那么多,直到它变得几乎无法使用。

    还有一个更根本的问题:如果这么多虚拟形象都是为了从人类用户身上赚钱而建立的,那么当人类用户的池子干涸时会发生什么?愿意购买课程和工具来建立自己网红的人只有那么多。

    这是假设社交媒体能在AI网红的涌入中幸存下来。根据定义,社交媒体需要一定临界数量的人类来保持”社交”属性。如果不加控制,网络将在这些假人的重压下崩溃,人类用户不可避免地被赶走。

    欧盟的《人工智能法案》可能是一个驱动力。该法规将要求生成式AI系统的部署者明确披露AI生成或操纵的内容,这可能会迫使公司加强标记AI内容,否则可能面临巨额罚款。但即便如此,重点仍然主要是内容,而不是发布内容的账号是否代表一个真实的人。

    和社交媒体的很多事情一样,负担又落回了用户身上。很多平台已经有效地将审核AI内容的任务委托给用户,依靠他们发现并举报可疑账号。但自我审核对于旨在逃避注意的事物来说,是一个糟糕且不可持续的答案。

    如果平台拒绝自己在真人和非真人之间划清界限,至少现在,用户正在用自己的方式划清界限。对无AI空间的需求正在增长。毕竟,如果你消费的内容背后没有真实的人,那”社交”媒体还剩下什么?

    📎 原文来源:AI ‘content creators’ are getting harder to spot — The Verge | 作者:Robert Hart | 发布时间:2026年6月7日
  • 平台明明能让你屏蔽AI垃圾内容,但它们就是不肯

    现在上网,AI生成的内容已经到了躲都没处躲的地步。但这件事本不必如此。

    过去一年,YouTube、Instagram、TikTok都在大力推内容认证,不少平台已经会自动给AI生成的图片、视频、音乐打标签,跟真人创作的内容做区分。问题是——这些标签只能让你刷到的时候心里有数,却没法让你直接把这类内容过滤掉。

    一个简单的过滤器就能解决这个问题,我们只需要一个”AI”勾选框来切换就行。我联系了Meta、谷歌、TikTok和Spotify,询问他们是否计划让用户过滤AI标签系统认证过的各类内容。结果没有一个给出肯定答复。

    现有的标签体系根本没用

    TikTok或YouTube的信息流里,你可能会注意到有些视频描述里有AI披露标识,或者视频画面上叠了个信息标签。Meta也是类似操作,给Facebook和Instagram上携带AI识别元数据、或者创作者主动披露的内容打上”AI信息”标签。

    但如果你想主动避开所有带这类标签的内容——这完全合情合理,毕竟AI生成内容除了伦理和环境问题,本身质量也堪忧——实际操作起来非常困难。

    少数有过滤功能的平台,做得也很敷衍

    目前见过有AI内容过滤功能的平台里,DeviantArt算一个,但它的设置藏得极深——你得先注册账号,然后把鼠标悬停在页面右上角的用户图标上,才能找到”AI内容设置”菜单。两个选项:默认”显示AI内容”,或者”抑制AI内容”。我试了,没看出明显区别。

    Pinterest也有类似系统,藏在设置里的”优化你的推荐”下面,可以切换特定类别的AI内容显示。据我的经验,效果远称不上完美,就算把过滤器开到最大,还是能看到大量有可疑AI痕迹的图片。


    平台为什么不乐意

    原因其实不复杂。平台本身也在制造用来生成这些内容的工具。Meta、Spotify、谷歌不光托管AI生成的图片、广告和音乐,他们还在推销创造这些内容的工具。如果允许用户一键过滤所有AI内容,等于直接打击他们从AI产业获利的所有努力。

    还有一个更尴尬的原因:他们知道现有的标签系统有多不靠谱。C2PA和SynthID这类基于溯源的系统,在内容创作时嵌入元数据或隐形水印,但很多开源AI模型根本不会这么做,而且元数据太容易被剥离。基于检测的方法分析数字内容模式来评估AI生成的可能性,但误报率很高,目前这些方案都无法在大规模场景下有效工作。

    平台推出标签功能,很大程度上是为了应付监管机构和批评者,至于实际能不能帮用户区分真假内容,那是另一回事。

    一个更实际的替代方案

    与其费力给所有AI内容打标签,不如反过来——给经过验证的真人创作者打标签。这不一定能识别这些创作者发布的合成内容,但至少能帮你少看到那些炮制低质量垃圾内容的未验证内容农场。

    Instagram的负责人Adam Mosseri曾经提过这个方向,Spotify也已经在做”已验证艺人”功能。如果YouTube和Instagram愿意推,这比现在这套形同虚设的AI标签体系要实用得多。

    AI垃圾内容过滤示意图
    平台有能力做AI内容过滤,但它们选择不做