标签: AI深伪

  • 欧盟AI法案透明度条款生效:和AI聊天,平台得先说清楚

    欧盟刚给所有做AI的公司立了条规矩:别再偷偷摸摸了。8月2日起,欧盟《AI法案》里新增的一批透明度义务正式生效,核心就一句话——只要你在跟AI说话,或者你看到的内容是AI生成的,相关方就有义务明明白白地告诉你。

    谁该负责,分两种情况

    这套规则把”开发AI的”和”用AI的”分成了两类角色。提供者(provider)指的是那些研发并对外发布AI系统的公司;部署者(deployer)则是把AI接进自己产品里用的平台和服务。像Meta、xAI这种既做模型又做面向用户产品的,被同时划进了两个筐。

    对提供者来说,系统必须主动提醒用户”你现在聊的是AI而不是人”,除非这种区别”显而易见”(比如一个明显是机器人的客服入口)。更关键的是,合成出来的音频、图片、视频、文本里都得带上机器可读的标记,方便下游检测这是不是人造内容。

    欧盟委员会在指南里写得很直白:生成式AI发展太快,人已经越来越难分清对面是真人还是模型。大家有权知道自己在跟谁打交道,这能帮他们决定该不该信、该信多少。

    深伪内容逃不掉了

    部署者这边,凡是用来以假乱真的AI生成或改动的图片、音频、视频,都必须打上标签。这基本就是冲着深伪(deepfake)来的——以前一张假图发出去,平台可以装作不知道,现在不行,你用了AI造假就得标。

    为了不让每家公司的标签长得五花八门,欧盟委员会还专门做了一套官方图标,企业可以直接拿来用,不用自己设计。委员会的想法挺朴素:如果大家都用同一套标识,用户在不同平台上看到的提示就会一致,慢慢也就形成条件反射了。

    欧盟AI透明度标识图标
    欧盟委员会推出的官方AI标识,企业可直接使用

    不标会被罚款

    这套义务是《AI法案》第50条下的透明度要求,违规的公司面临罚款。不过眼下最大的疑问不是罚不罚,而是执行。机器可读的水印能不能扛住截图、转码、二次编辑?平台自己既是裁判又是运动员时,会不会选择性标注?

    • 对普通用户:以后刷到AI内容,理论上会多一个”这是AI”的提示,至少知情权回来了。
    • 对开发者:模型输出得内置可检测标记,产品上线前多了一道合规活。
    • 对平台:既要标自己生成的,也要标用户上传的AI内容,审核成本肉眼可见地涨。

    说到底,这条规定改变的不是技术,而是默认预期。过去AI内容混在真人作品里是常态,现在欧盟先把”你得说一声”写成了法律。机器可读标记能不能真正落地还得看各家怎么实现,但至少方向已经摆出来了:透明度不再是可选项。

  • 谷歌给Google Earth塞了个AI造图功能,上线一天就被骂到撤回

    周四那天,谷歌在自家的卫星地图应用 Google Earth 里加了个新玩意儿——把它的 AI 图像生成模型 Nano Banana 2 接了进来,用户可以直接在真实的卫星影像上”画”出各种虚构的画面。谷歌当时的说法挺文艺:让大家在地理这件事上玩出点创意。结果这个功能只活了一天。

    谷歌 Google Earth 的 AI 图像生成功能界面
    谷歌在 Google Earth 中接入 Nano Banana 2 生成图像 图片来源:TechCrunch

    上线当天就有人看出不对劲

    问题出在这个功能的开放程度。它是靠文字提示词驱动的,几乎能把任何图像叠加到真实地图上。对一部分人来说这是创意工具,但对更多人来说,这更像是给假消息批量生产开了一条流水线。Google Earth 一直是记者和研究人员核实事实时最可靠的影像来源之一,如今上面能随手生成以假乱真的画面,风险不难想象。

    “Google Earth 是记者和研究者最信赖的视觉证据来源之一,现在给它加个 AI 造图功能,绝对不可能被拿去在网上散布虚假信息——你看我说得多有道理。”一位 BBC 记者周四在社交平台上阴阳怪气地写道。

    这种反讽很快就变成了现实里的证据。有人开始把生成的截图晒出来,画面明显越过了谷歌自己划定的红线。舆论压力上来,谷歌没有硬扛。

    谷歌一天后认怂:先撤,回去补护栏

    功能发布仅一天,谷歌就把它下线了。官方的表态是这么说的:

    “我们看到不少地理空间领域的专业人士把这个功能用在了正经用途上,但我们同样看到有人分享的生成图像,似乎违反了我们的政策。我们决定先在 Google Earth 里回滚这个功能,同时着手搭建更强的防护措施。”

    翻译成大白话就是:想法是好的,但护栏没跟上,先撤回去再说。


    话说回来,锅真全在这一个功能上吗

    大家的担心当然站得住脚,不过有个更尴尬的事实也得摆出来:在今天这个环境里,网上绝大多数图片本来就能被轻松改掉。以前你想造出一张半真半假、还挺唬人的图,多少得会点 Photoshop;现在完全不用,你只要能打开一个 AI 生图工具就行。而这类工具,谷歌自己就在卖,市面上一堆别的 AI 公司也在卖。

    所以谷歌这次的动作,更像是把最扎眼的那个入口先关掉,避免自己成为舆论靶心。至于生成式 AI 让虚假影像门槛一路走低这件事,撤掉一个功能显然拦不住。真正的难题不是”要不要在地图上放生图按钮”,而是当造假成本已经降到几乎为零,平台该拿什么去证明一张图是真的。

    • 谷歌周四在 Google Earth 接入 Nano Banana 2,让用户在真实卫星图上生成虚构画面
    • 批评者担心该功能会被用来制造和传播虚假信息,很快出现越界截图
    • 上线仅一天,谷歌宣布回滚功能,称要先补上更强的防护措施
    • 深层矛盾在于:AI 生图已让造假门槛趋近于零,撤一个功能治标不治本
  • 苹果认了:我们确实下架了那几款AI脱衣App

    旧金山市检察官 David Chiu 这周把一封信甩到了苹果和谷歌面前,要求两家把 13 款能生成「非自愿裸图」的 App 从应用商店里清掉。这类软件俗称 nudify——上传一张普通照片,AI 就能把它改成裸体图像,本质上就是对着真人做的深度伪造色情。

    苹果在 7 月 19 日给了正面回应。发言人 Adam Dema 向 The Verge 确认,他们已经下架了其中三款,并且正在走流程,把这几位开发者的账号从开发者计划里踢出去。谷歌那边动作更早,之前就暂停了信里点名的五款 Android 应用,理由是 Play 商店「不允许包含性内容的应用」。

    AI 脱衣应用下架与数字隐私保护
    平台开始对 AI 深伪色情内容动手(配图由 AI 生成)

    「我们一贯严格禁止那些用来生成、传播或消费色情内容的 App。nudify 这类应用违反我们的审核指南,我们主动拒绝过很多,也移除过很多——包括用户通过举报通道标记出来的那些。」

    这件事的抓手在加州法律。当地法规明确禁止销售性化的 AI 深伪内容,所以 Chiu 给两家公司扣的帽子是「协助和教唆」这类 App 的售卖。换句话说,平台不再只是提供场地的角色,而是要为架上摆了什么货负责。

    为什么是现在

    非自愿亲密图像从来不是新麻烦,但生成式 AI 把它变成了流水线生意。过去做一张假裸照要懂点 Photoshop,现在一个不懂技术的普通人花几分钟就能拿到成品。应用商店审核往往滞后于这类 App 的上架速度,等投诉堆积起来,伤害已经造成。

    • 被点名的 13 款 App 横跨 iOS 和 Android 两个生态,说明这不是某一家平台的问题。
    • 下架只是起点:开发者换个马甲重新上架的成本极低。
    • 真正的难点在于,平台怎么在审核环节就拦住这类应用,而不是等监管写信来催。

    苹果和谷歌这次的反应算快,但推动他们的不是技术自觉,而是一封带着法律后果的信。当 AI 生成的色情内容开始大规模针对真实个人,应用商店这个守门人角色,迟早会被监管一层层钉死。

  • TikTok悄悄测试AI肖像检测:想抓深伪换脸,先交自拍和身份证

    刷短视频的人多少都想过一个问题:要是有人用 AI 把自己的脸换到一段视频里,到处招摇撞骗,自己该怎么发现、又该怎么治?TikTok 最近在悄悄试一个答案。

    据 The Verge 的 Jay Peters 报道,TikTok 正在小范围内测一款”肖像检测”(Likeness Detection)工具,目前只对一部分美国创作者开放。它的逻辑很简单:你先加入,系统就帮你盯着平台上有没有 AI 生成的内容在冒用你的脸,发现了你再来核对、举报。

    TikTok 美国发言人 Zachary Kizer 说得很清楚:这项工具是自愿加入的,想用就得先通过 Jumio 做身份验证——实时自拍加身份证件那一整套。

    先验证,再参与

    这点特别关键。创作者想用这个工具,第一步不是”开启扫描”,而是先证明”我是我”。TikTok 不保留身份证件,面部信息也只用于匹配肖像、找出可能的盗用。验证通过后,系统才会去扫那些可能用了你长相的 AI 内容,把疑似结果推给你,由你决定要不要举报。

    TikTok AI 肖像检测
    TikTok 的 AI 肖像检测功能示意(图源:The Verge / Nick Barclay)

    和 Meta 的翻车形成对照

    把时间往回拨几天就很耐人寻味。就在这个月,Meta 推出 Muse Image,允许任何人基于 Instagram 上的公开照片生成 AI 图像,而且所有账号默认就被拉进这个功能。结果骂声来得太快,短短三天 Meta 就撤下了功能,承认自己”没把握好分寸”。

    TikTok 几乎是反着来的:身份验证在前,参与全凭自愿,控制权始终在创作者手里。


    不是 TikTok 一个人在做

    它其实跟在 YouTube 后面。YouTube 早就在做类似的工具,并且已经向所有成年用户开放;更早之前,它把这类保护也给了名人和艺人经纪公司。换句话说,平台从”发现深伪我们再删”走向”帮创作者主动揪出盗用”,已经成了大视频平台的标配方向。

    • 验证机制本身是个隐私取舍:要系统帮你找冒用,就得先交脸的数据
    • 平台得说清楚数据存多久、会不会拿去训练模型、退出后还扫不扫
    • 打假不等于一刀切下架,恶搞、新闻、评论这些边界仍要人工判断

    对创作者来说,一个能乱真的 AI 换脸,轻则毁名声,重则配合诈骗和色情内容。手动搜基本是杯水车薪,所以自动检测才有价值。代价是,你得先信任平台,把最敏感的身份信号交出去。

  • 妈妈接到“女儿被绑架”的勒索电话后,两兄弟用AI做了款反诈App

    一通”女儿被绑架”的勒索电话

    Patrick Coughlin 怎么也没想到,差点骗走自己家人的,是一通听着就像亲生女儿在求救的电话。两年前,他妈妈接到一个显示为女儿号码打来的电话,那边传来”妈妈,他们抓住我了”的哭喊,紧接着一个男人威胁:不立刻转账 1200 美元,就把人扔在沃尔玛停车场。骗子连女儿常去的沃尔玛位置都报得一字不差。

    当时 Patrick 是思科安全产品的高级副总裁,天天跟国家级网络攻击打交道。可这一回,对手用的不是什么高深武器,只是几秒钟的公开音频,加上语音克隆和来电显示伪造。所幸老人家还算镇定,反手拨给女儿确认平安。虚惊一场,但这件事像根刺扎在他心里。

    以前这种级别的诈骗,成本高得只有政府和大企业才配当目标。现在 LLM 和生成式工具把门槛砸到了地板上,普通人成了猎物。

    AI 把”当骗子”的门槛砍没了

    Patrick 后来想明白了一件事:真正变的不是技术,而是犯罪的经济账。过去要骗一个人,得先做足功课、定制话术、搞到变声设备,投入产出比很低,所以骗子只挑肥羊。现在不一样了,他说,你用三秒钟的社交媒体音频就能克隆一个声音,研究材料随手可得,”造个骗子”的成本几乎归零。

    更让他担心的是另一层:当欺骗变得这么容易,不光是职业犯罪团伙进场,连普通人都会被拉下水。”我们其实是在批量制造骗子。”

    他们做的 App 长什么样

    这周,Patrick 和弟弟 Ryan 正式上线了 Savi Security 的 iOS 和 Android 应用。兄弟俩一个出身网络安全与国防(还在 Splunk、思科待过),一个做过消费者产品(苹果、Spotify),凑在一起就是冲着”用 AI 防 AI”去的。

    Savi Security 创始人 Patrick 与 Ryan Coughlin 兄弟
    Savi Security 创始人 Patrick 与 Ryan Coughlin 兄弟(图源:TechCrunch)

    应用能扫描短信、语音邮件和来电里的诈骗痕迹,最出彩的是实时通话监控:你正跟一个可疑电话聊着,可以一键把 Savi 的实时智能体拉进通话旁听,它会在对话进行中识别对方是不是在演戏。

    • 短信、语音邮件、来电三路筛查
    • 可疑通话中可接入实时 AI 旁听
    • 一个套餐覆盖全家,不限制人数,每月 8 美元(年付 63 美元)

    公司刚拿到 Acrew Capital 领投的 700 万美元种子轮,Magnify Ventures、TTCER 和 Resolute Ventures 跟投。说白了,这更像一代”AI 杀毒软件”:坏人也用 AI,防守方就得用同样的武器回敬。

  • ElevenLabs全面接入SynthID水印,AI声音内容终于有迹可循

    AI声音越来越像真人,水印成了最后的防线

    以前AI生成的声音一听就知道是机器——语调平、没感情、偶尔还卡壳。现在不一样了。ElevenLabs、Google、OpenAI的语音模型出来的效果,打电话过去很多人根本分不出来对面是真还是假。这让”声音深伪”从一个技术问题变成了一个社会问题——诈骗电话、假录音、伪造名人发言,这些事已经在发生。

    ElevenLabs这周做了一个实质动作:把Google DeepMind的SynthID水印技术接入了自己的文字转语音生成流程。免费用户已经能用上,接下来几周会覆盖所有音频生成。这个水印是直接嵌进音频里的,人耳听不到,但用ElevenLabs的音频检测器可以识别出来。哪怕音频被裁剪、加速、转格式、删掉元数据,水印还在。

    AI生成音频水印示意图
    SynthID水印:嵌在音频里、人耳听不见、但可以检测 | 图片来源:ElevenLabs

    SynthID是什么,为什么是Google在推

    SynthID是Google DeepMind在2023年推出的AI内容水印系统,最初用于图片,后来扩展到音频和视频。原理是在生成内容里嵌入一个人类无法感知的模式,专门的检测器可以把它找出来,从而判断这段内容是不是AI生成的、是哪个平台生成的。

    今年5月的Google I/O上,Google宣布了一个”SynthID联盟”——OpenAI、英伟达、ElevenLabs、Kakao都承诺采用这个标准。这是AI行业少有的”主动给自己套绳子”的时刻:大家同意在自己的输出里加标记,让外界能追溯来源。当时这还只是一个承诺,ElevenLabs现在是第一个真正把这件事跑通的上线案例。

    “人们应该知道自己在和AI互动。随着我们的语音、音乐和音效模型越来越好,我们希望人们能够识别一段音频是否由AI生成,而且不需要专业工具。”——ElevenLabs产品团队

    水印能解决什么问题

    最直接的用途是溯源。如果有一段可疑的音频在传播,用ElevenLabs的免费音频检测器(Audio Detector)扫一下,就能知道是不是ElevenLabs生成的。这对打击深伪诈骗和虚假音视频有直接帮助。

    但这事也有局限性。水印只能证明”这段音频是ElevenLabs生成的”,不能证明”这段音频是某某人说过的”。如果有人用ElevenLabs克隆某人的声音去诈骗,水印能告诉你是ElevenLabs生成的,但没法直接告诉你克隆的是谁。要真正解决问题,还需要平台、法律、用户教育一起上。

    另一个现实问题是:水印只覆盖愿意加它的人。如果有人用没有水印的开源模型生成音频,这套体系就失效了。所以SynthID联盟的意义在于,让主流平台都加入,至少大部分商业AI音频是有标记的。

    ElevenLabs在博客里还提到,他们正在推动把SynthID加入C2PA的软绑定列表。C2PA是一个内容来源认证标准,能让被删掉元数据的内容重新”找回”自己的来源信息。这两个标准如果能打通,AI内容的溯源体系会更完整。

    监管压力是背后的推手

    越来越多的司法管辖区要求AI生成内容必须以机器可读的方式标注为”合成内容”。欧盟AI法案里有相关条款,美国各州也在推类似立法。对ElevenLabs来说,提前把水印做好,比事后被监管强制要求要主动得多。

    而且ElevenLabs本身也面临过滥用问题。2024年有过一波用ElevenLabs克隆名人声音制作深度伪造音频的事件,当时公司加强了安全审核。水印是又一层防护——就算有人绕过审核生成了不当内容,至少事后能追查来源。

    接下来,OpenAI、英伟达那边什么时候跟上,是业界最关注的。Google说它们都会用SynthID,但承诺和实际落地之间还有距离。ElevenLabs先走了一步,对其他平台是个压力,也是个参考。


  • Cate Blanchett联手好莱坞巨星,建了个对抗AI深伪的人类登记处

    AI换脸、AI配音这几年越来越猖獗,普通人防不胜防。今天,一个由Cate Blanchett联合创立的非营利组织RSL Media正式上线了一个新工具——”人类同意登记处”(Human Consent Registry),让每个人可以自己设定:AI能不能用我的脸、我的声音、我的作品。

    人类同意登记处概念图
    “人类同意登记处”上线,对抗AI未经授权使用个人肖像(图源:RSL Media)

    好莱坞集体出手了

    这个登记处的背景很硬。除了Cate Blanchett,支持者还包括George Clooney、Tom Hanks、Meryl Streep、Viola Davis、Kristen Stewart、Steven Soderbergh等一众好莱坞重量级人物。创意艺术家 agency(CAA)和音乐艺术家联盟也都在背后支持。

    它的运作逻辑其实不复杂:每个人可以在登记处注册自己的身份信息,设定AI使用自己肖像、声音、姓名等属性的条款——可以允许、可以有条件允许(比如要求付费授权)、也可以直接禁止。AI公司在抓取和使用这些数据之前,先查登记处,就知道能不能用了。

    RSL Media联合创始人Eckart Walther说,AI系统可以通过网站的robots.txt页面发现这个登记处,就像现在网站告诉搜索引擎能不能抓取内容一样。但这个标准不是针对某个URL的内容,而是针对”作品、身份、角色或标识本身”,无论它出现在哪里。

    技术上怎么落地

    这个想法其实去年就已经有雏形了。当时推出的是”Really Simple Licensing(RSL)标准”,主要面向网站内容,告诉AI爬虫能不能抓取。这次的”人类同意标准”(Human Consent Standard)是把类似逻辑扩展到了个人身份和创作作品层面。

    技术实现上,AI系统需要主动去查询登记处的数据。这依赖的是行业的自愿遵守——就像robots.txt依赖搜索引擎的自愿遵守一样。如果AI公司选择无视,这个登记处也没有法律强制力。

    但好莱坞的背书让这件事有了不一样的分量。当George Clooney和Tom Hanks这样的明星公开支持,AI公司要无视这个标准,面临的舆论压力会相当大。

    普通人能用吗

    登记处今天正式上线,理论上任何人都可以去注册。设定自己肖像和作品的使用条款,不需要是好莱坞明星。这对普通人来说,至少是多了一层保护——哪怕没有法律强制力,但有了明确的”我不同意”的记录。

    当然,这个工具能不能真正起作用,关键还是看AI公司买不买账。目前还没有看到主要的AI公司(OpenAI、Google、Meta等)公开表态支持这个标准。但好莱坞的集体行动,至少让这件事进入了公众视野。