标签: AI安全

  • Strix:让 AI 当黑客,自动找出并修复你应用的真实漏洞(40.8K Stars)

    Strix:让 AI 当黑客,自动找出并修复你应用的真实漏洞(40.8K Stars)

    Strix 封面

    一句话先说清楚:Strix 是一个开源的自主 AI 渗透测试智能体(Autonomous AI Pentesting Agents)。它不像传统扫描器那样丢给你一堆“可能存在风险”的噪音告警,而是真的会动态跑起你的代码、模拟攻击者思维去打、再用可验证的 PoC 证明漏洞确实存在——最后还顺手把补丁和报告给你写了。

    项目简介

    usestrix/strix,Apache-2.0 协议,纯 Python 写就,目前在 GitHub 上已经 4 万+ Stars,连续多周霸榜 Trending。它的定位很直白:把“请安全公司做一次渗透测试”这件事,从“几万块、等几周”,变成“一条命令、几分钟”。它支持本地代码库、GitHub 仓库、线上应用三种目标模式,也能多目标并行扫描。

    安装要求和过程

    Strix 的依赖极其克制,你只需要两样东西:

    • 一个正在运行的 Docker(首次运行自动拉取沙箱镜像,把攻击行为关在隔离环境里);
    • 一个任意主流 LLM 的 API Key(OpenAI / Anthropic / Google 都行,底层走 LiteLLM)。

    安装就一行:

    curl -sSL https://strix.ai/install | bash

    配置好供应商和目标,开跑:

    export STRIX_LLM="openai/gpt-5.4"
    export LLM_API_KEY="your-api-key"
    strix --target ./app-directory

    首次运行会自动拉取沙箱 Docker 镜像,结果全部落进 strix_runs/<run-name>。如果你是 Windows,注意它本质是个 Python 包 + Docker,建议走 WSL2,别在原生 CMD 里硬刚。

    核心功能

    1. 真实漏洞验证,拒绝误报——这是它和传统扫描器最大的区别。Strix 会实际构造攻击载荷、命中、再生成可复现的 PoC 代码,只报“已被验证”的漏洞。传统工具 60-80% 的误报率,在这里被砍掉了。

    2. 多智能体协同的“红队”——侦察 Agent 画攻击面地图,注入测试 Agent 专攻 SQL/命令注入,权限提升 Agent 测越权与认证绕过,前端 Agent 查 XSS/CSRF。它们并行工作、互相共享线索,像一支真实的安全团队。

    3. 覆盖 OWASP Top 10 全栈——越权、注入、服务端/客户端攻击、业务逻辑缺陷、认证与会话、基础设施/云、API 安全,一锅端。

    4. 自动修复 + 合规报告——不光告诉你哪儿漏了,还生成补丁和合规报告。开发者优先的 CLI,每条发现都带修复指导。

    5. 代理式工具箱——内置 HTTP 拦截代理(Caido)、浏览器利用、Shell 执行、自定义利用运行时、侦察/OSINT、静态/动态分析、漏洞知识库。

    典型使用场景

    场景一:开发流程里的“安全卡点”
    把 Strix 接进 CI/CD。每次 PR 合并前跑一遍 strix -n --target ./ --scan-mode quick,上线前自动兜底。这是它最实用的姿势——让安全从“上线后救火”变成“开发时拦截”,修复成本直接降一个数量级。

    Strix 演示截图

    场景二:Bug Bounty 自动化
    独立安全研究员用它批量扫目标、自动出 PoC。配合 --target-list ./targets.txt 多目标并行,把重复劳动交给 AI,自己专注高价值的逻辑漏洞挖掘。

    场景三:黑盒 Web 应用快速体检
    strix --target https://your-app.com,通过 --instruction 给自然语言指令(比如“用 user:pass 做认证测试”),AI 会像红队一样从外往里打,几分钟出一份带证据的安全评估。

    推荐理由

    我挺吃 Strix 这套“用 AI 模拟真实黑客”的思路。过去做安全,要么花钱请人、要么自己扛一堆误报告警大海捞针。Strix 把“验证”这件事做在了前面——它不拿签名库糊弄你,而是真跑、真打、真证明。多智能体架构也比单 Agent 更像人,侦察-利用-后利用的链条能自动衔接。

    当然,也得泼盆冷水:它目前还很“Alpha”,社区里有资深安全研究员指出它的提示模板还偏基础,跟顶级商业工具比仍有差距;AI 的扫描结果必须人工复核,且绝对不能拿去打未授权目标。但作为开发自测、CI 卡点和学习红队思维的开源玩具,它已经足够香,而且免费、可商用(Apache-2.0)。

    ⚠️ 安全声明:Strix 仅可用于你拥有授权的目标。运行前务必隔离环境,防止模型抽风导致密钥或数据泄露。

    下载地址

  • 妈妈接到“女儿被绑架”的勒索电话后,两兄弟用AI做了款反诈App

    一通”女儿被绑架”的勒索电话

    Patrick Coughlin 怎么也没想到,差点骗走自己家人的,是一通听着就像亲生女儿在求救的电话。两年前,他妈妈接到一个显示为女儿号码打来的电话,那边传来”妈妈,他们抓住我了”的哭喊,紧接着一个男人威胁:不立刻转账 1200 美元,就把人扔在沃尔玛停车场。骗子连女儿常去的沃尔玛位置都报得一字不差。

    当时 Patrick 是思科安全产品的高级副总裁,天天跟国家级网络攻击打交道。可这一回,对手用的不是什么高深武器,只是几秒钟的公开音频,加上语音克隆和来电显示伪造。所幸老人家还算镇定,反手拨给女儿确认平安。虚惊一场,但这件事像根刺扎在他心里。

    以前这种级别的诈骗,成本高得只有政府和大企业才配当目标。现在 LLM 和生成式工具把门槛砸到了地板上,普通人成了猎物。

    AI 把”当骗子”的门槛砍没了

    Patrick 后来想明白了一件事:真正变的不是技术,而是犯罪的经济账。过去要骗一个人,得先做足功课、定制话术、搞到变声设备,投入产出比很低,所以骗子只挑肥羊。现在不一样了,他说,你用三秒钟的社交媒体音频就能克隆一个声音,研究材料随手可得,”造个骗子”的成本几乎归零。

    更让他担心的是另一层:当欺骗变得这么容易,不光是职业犯罪团伙进场,连普通人都会被拉下水。”我们其实是在批量制造骗子。”

    他们做的 App 长什么样

    这周,Patrick 和弟弟 Ryan 正式上线了 Savi Security 的 iOS 和 Android 应用。兄弟俩一个出身网络安全与国防(还在 Splunk、思科待过),一个做过消费者产品(苹果、Spotify),凑在一起就是冲着”用 AI 防 AI”去的。

    Savi Security 创始人 Patrick 与 Ryan Coughlin 兄弟
    Savi Security 创始人 Patrick 与 Ryan Coughlin 兄弟(图源:TechCrunch)

    应用能扫描短信、语音邮件和来电里的诈骗痕迹,最出彩的是实时通话监控:你正跟一个可疑电话聊着,可以一键把 Savi 的实时智能体拉进通话旁听,它会在对话进行中识别对方是不是在演戏。

    • 短信、语音邮件、来电三路筛查
    • 可疑通话中可接入实时 AI 旁听
    • 一个套餐覆盖全家,不限制人数,每月 8 美元(年付 63 美元)

    公司刚拿到 Acrew Capital 领投的 700 万美元种子轮,Magnify Ventures、TTCER 和 Resolute Ventures 跟投。说白了,这更像一代”AI 杀毒软件”:坏人也用 AI,防守方就得用同样的武器回敬。

  • OpenAI安全负责人走了:GPT-5.6上线这周,护栏谁来看守

    这两天 OpenAI 内部发生了一桩挺值得玩味的事。安全系统负责人 Johannes Heidecke 本周告诉同事,他要离开公司了。时间点很微妙——就在这周,OpenAI 刚把迄今最强的 GPT-5.6 推上线。

    不是突然的人事变动,是一轮重组的收尾

    Heidecke 的离开,跟公司正在做的一件事绑在一起:把安全团队和研究团队进一步捏合。首席研究官 Mark Chen 在一份内部备忘录里说,以后安全团队要直接向研究副总裁、对齐负责人 Mia Glaese 汇报,Glaese 的权限也扩成了「研究与安全副总裁」,一个人管两块。之前带过安全团队的 Saachi Jain 暂时顶上,做临时安全系统负责人。

    「我们训练模型的节奏快太多了,发布周期也大幅缩短,今天围绕安全的协调难度,比过去任何时候都大。」——Mark Chen 内部备忘录

    为什么这个节点让人多想

    Heidecke 2021 年以 AI 安全分析师身份加入 OpenAI,2024 年接替离职去创办 Thinking Machines Lab 的 Lilian Weng,坐上安全系统负责人的位置。也就是说,短短两年里,这个岗位已经换了两茬人。

    更巧的是,GPT-5.6 这周上线时,OpenAI 自己承认模型在用户反馈的若干案例里出现了「令人担忧的未对齐行为」。公司一边把最猛的模型往外推,一边安全条线的负责人出走,这种画面怎么看都有点拧巴。

    • 重组的逻辑是「让安全更早介入模型开发和发布决策」,听起来合理
    • 但把安全并入研究线之后,独立的挑战声音会不会被削弱,是外界最担心的
    • Heidecke 已经是近期又一位离开的安全方向高管

    说到底,这未必是某个人去留的问题。当模型从季度更变成月更、周更,旧的「发布前最后一道安全审查」流程首先会撑不住。OpenAI 把安全往研究里塞,是想缩短这个链路;只是护栏能不能真的更牢,还得看 Glaese 接手后怎么立规矩。

    OpenAI安全团队重组
    OpenAI 将安全团队并入研究线,引发外界对独立安全监督的担忧
  • 特朗普松口,OpenAI GPT-5.6本周四全面开放:Sol、Terra、Luna三件套来了

    OpenAI GPT-5.6 模型发布概念图
    OpenAI GPT-5.6 模型套件公开上线(概念图)

    OpenAI 在周二深夜扔出一条重磅消息:GPT-5.6 要来了,而且这次是面向所有人的公开上线。按照公司的说法,旗舰模型 Sol,加上中端的 Terra 和走量的 Luna,会在本周四一起向公众开放。距离 6 月 26 日它第一次以”受限预览”的身份露面,还不到两周。

    一场由政府点头的”放行”

    这次放行背后,站着特朗普政府。据 Axios 报道,在 OpenAI 和美国商务部下属的”AI 标准与创新中心”又做了一轮测试、开了几轮会之后,政府才给了这次大规模发布的绿灯。OpenAI 还专门派了技术专家常驻华盛顿,随时准备回答监管方的疑问。

    其实上个月,特朗普政府就要求 OpenAI 搞”分批发布”——先把模型开放给政府批准的少数实体,普通人暂时摸不着。当时 OpenAI 就明说,这不是它喜欢的发布方式。

    有意思的是,白宫自己并不认”绿灯”这个说法。一位官员回应说,法律上根本不需要、也没发过什么许可,”放不放、怎么放,决定权完全在公司手里”,还搬出了 6 月 2 日那份 AI 行政令——里面明确禁止联邦层面对模型发布搞强制牌照或预审。换句话说,那些测试和会谈,都是”自愿”的。

    不只 OpenAI 一家被卡过

    把视线拉宽一点,你会发现这阵子最先进的模型几乎都被”限”过。6 月商务部直接禁止外国人使用 Anthropic 的 Mythos 和 Fable 模型,等于逼着它们退出部分市场;上周 Fable 的禁令才刚松绑,用户访问隔了一天就恢复。OpenAI 和 Anthropic 这两家头部公司,最近的处境出奇地像。

    实力与定价才是真看点

    抛开监管戏码,GPT-5.6 本身有两把刷子。OpenAI 说它在写代码、网络安全、生物这几个方向特别能打,长任务的代理(agentic)能力也比上代稳。Sol 还多了两个档位:一个叫”max”,专门做更深层的推理;一个叫”ultra”,能调度子代理——这明显有 OpenAI 收购的 OpenClaw 团队的手笔。

    • Sol:旗舰,主打高端任务,定价每百万 token 输入 5 美元、输出 30 美元。
    • Terra:中端,定位”高吞吐量工作”,价格正好是 Sol 的一半。
    • Luna:日常款,便宜又快,价格还不到 Terra 的一半。

    这个定价挺狠——Sol 的成本差不多只有 Anthropic 旗舰 Claude Fable 5(10/50 美元)的一半。在大家都在喊”token 太贵”的当口,OpenAI 直接把价码压了下来。


    安全方面,OpenAI 这次也下足了功夫。Sol 被训练成会拒绝违规的网络协助请求,包括用户试图伪装意图或”越狱”的情况;公司还投入了约 70 万块 A100e 等效 GPU 小时做自动化红队测试。OpenAI 自己也说,希望这种”政府点头才能发”的流程别变成长期常态——毕竟把最好的工具卡在门外,受影响的还有开发者、企业和网络安全防御方。

  • Meta想让AI眼镜别那么吓人,可它的整体打法偏偏相反

    Meta AI眼镜与录制指示灯
    Ray-Ban Meta 智能眼镜的录制指示灯,正成为隐私争议的焦点

    这几天 Meta 给自家智能眼镜上了一道「保险」:以后要是有人把那颗提示正在录像的小灯给遮住或弄坏了,眼镜的摄像头会直接罢工。听起来挺贴心,像是终于听见了大家的担心——毕竟 Ray-Ban Meta 这副眼镜,早就被不少人贴上了「偷拍神器」的标签。

    可问题是,就在这条「我们很在乎你隐私」的公告发出来的同一周,Meta 干的另一堆事,方向完全是反的。

    小灯一挡,摄像头就关,这招晚了一步

    先说这个被 Meta 拿来「自我表彰」的新功能。公司在博客里写得很自豪,说「其他任何摄像头都没这么干过,我们很骄傲能领这个头」。但往下读就露馅了:Meta 自己承认,之所以要做这个功能,是因为已经有人拿胶带把指示灯贴上了,逼得他们只能改技术,让灯被挡住时就自动停录。

    更尴尬的是,公告里还补了一句:那些铁了心要偷拍的人,会「用更复杂的手段去改装甚至毁掉那颗灯」。换句话说,Meta 等于亲手盖章确认了一件事——确实有人买这副眼镜,就是冲着不打招呼记录别人去的,而且目标常常是女性。

    你拍的照片和视频谁能看到?Meta 的回答是「只有你,除非你主动分享」。可它的隐私政策又白纸黑字写着:任何你丢给 Meta AI 的图片,都可以被用来训练它的模型。

    同一周,它还在往你的隐私里伸手

    就在发布防偷拍功能的那天,Meta 还顺手宣布了一件事:现在 Meta AI 可以用任何一个公开 Instagram 用户的照片来生成 AI 图像,除非你手动关掉这个选项。把两件事摆在一起看,那颗摄像头小灯的保护意味,一下子就淡了。

    这还不是全部。Meta 这些年一直在推进的方向,几乎每一步都在要你的数据:用你让眼镜分析过的图片训 AI、默认开启拿你个人内容喂模型的 AI 功能、研究怎么「连续录音」、甚至探索用生物识别做 facial recognition。据《金融时报》消息,他们还在测试一款原型机,会「持续采集音频、每隔几秒拍一张照片」。


    信任这东西,欠账太多就难补

    围绕 AI 眼镜的隐私问题,Meta 眼下正挨着好几桩调查和诉讼。其中一桩的由头格外难看:此前 Meta 取消了一家外包公司的合同,因为肯尼亚的外包工爆料,他们在用眼镜拍下的视频训练 AI 时,被迫看了大量色情、裸体和有人在厕所的极端内容。

    把这副眼镜单独拿出来看,它确实只是个硬件。但放到 Meta 的整体履历里,味道就不一样了——剑桥分析数据门、儿童安全相关的诉讼、员工按键记录被用来训模型、打算拿你 AI 聊天里的内容卖精准广告……连苹果当年都因为隐私顾虑,一度不肯把 Meta 的模型接进自己的系统。

    • 给摄像头加一道防篡改保护,是必要的,也该夸。
    • 但同一周就用你的公开照片喂图像生成,又让「我们在意隐私」显得言不由衷。
    • 真正的问题不在某颗灯,而在 Meta 的整体生意,始终建立在多拿一点你的数据上。

    所以那颗小灯能不能让人安心,答案其实很清楚:它挡得住手欠遮灯的人,却挡不住 Meta 自己想把你的影像、声音和生活痕迹都收进系统的那股劲。消费者要的不只是「灯亮着」,而是「你别总惦记着我的数据」——这一点,Meta 离做到还差得远。

    📎 原文来源:Meta wants its AI glasses to seem less creepy. Its AI strategy says otherwise.(TechCrunch / Sarah Perez)
  • AI诈骗盯上普通人:兄弟俩做了个App专防绑架勒索电话

    你大概也接过那种电话:对方一开口就急吼吼地说家里人出事了,要你马上转账。过去这种骗局门槛高,骗子得先摸清你的底细、还得搞到变声技术,所以主要盯着企业和政府这些”肥肉”。可现在,几秒钟的社交平台音频就能克隆出你亲人的声音,普通人也成了目标。一家叫 Savi Security 的初创公司,就是冲着这个来的。

    一个从自家妈妈被骗开始的念头

    Savi 的两个创始人是一对亲兄弟,Patrick 和 Ryan Coughlin。Patrick 的履历放在安全圈很硬:干过国家级网络防御,待过 Splunk,后来随着收购进了 Cisco,做到安全产品高级副总裁;弟弟 Ryan 则在做消费产品这条线上,先后待过 Apple 和 Spotify。兄弟俩做这家公司,直接导火索是两年前他们妈妈亲身经历的一通电话。

    那天老人家接到一个来电,屏幕上显示的是女儿的号码。电话里她”听见”女儿喊”妈,他们抓到我了”,紧接着一声撕心裂肺的尖叫,然后是威胁:不立刻转 1200 美元,就把人扔在本地 Walmart 停车场弄死。骗子连女儿常去的 Walmart 都报得出来,声音也一模一样。幸好老人家没慌,直接拨给真女儿确认——人才平安。可这一遭,把见过大场面的 Patrick 也震住了。

    手机盾牌保护家庭免受AI诈骗电话
    Savi 想用一层实时防护,挡住越来越逼真的 AI 诈骗

    便宜到离谱的犯罪成本

    Patrick 后来反复想一个问题:以前只用来对付政府和大企业的那套精密手段,怎么就落到普通老百姓头上了?答案大家都心知肚明——便宜又强悍的大模型和生成式 AI。现在从一段三秒钟的公开视频里就能克隆声音,我们随手发在网上的那些碎碎念、给孩子比赛录的像,全成了骗子的素材。

    Patrick 的原话很扎心:AI 正在”制造骗子”,因为它把骗人的门槛降到了地板价。不只是有组织的犯罪团伙,连普通人也被勾着下场。

    数字不会骗人。美国联邦贸易委员会上个月公布,2025 年民众在”冒充类”诈骗里总共损失了 35 亿美元,是 2020 年的三倍。被骗的主力虽然是老年人,但研究机构 Malwarebytes 的数据提醒,Z 世代在短信诈骗里中招率也不低,差不多四次里就信一次。

    先拿免费网站练手,再推付费 App

    兄弟俩的第一招,是做了一个叫 Scamwise 的免费网站,不用注册、完全匿名,你把可疑的短信、截图、邮件传上去,它就能判断大概率是真的还是骗局。这个网站跑了四个月就收到 5 万份提交,到现在累计冲到 10 万份,每周还在以一万多份的速度往上涨。这些真实样本,正好拿来喂 Savi 自家的诈骗识别模型。

    • 本周二,Savi 正式推出付费 App,iOS 和安卓都能用,可以筛查短信、语音留言和来电。
    • 最出彩的功能是”实时通话监听”——可疑电话进行中,你可以把 Savi 的 AI 助手拉进来旁听,它会在对话过程里捕捉骗子的行为破绽。
    • 价格也挺实在:一个月 8 美元,年付 63 美元,而且不限人数,全家人——孩子、配偶、父母甚至那个总找你修电脑的舅舅——都能塞进同一个套餐。

    这家公司刚拿下 700 万美元种子轮,领投的是 Acrew Capital。技术底层主要用 Google 的 Gemini,但架在了一个 AI 网关上,需要的时候随时能切去更专精声纹识别的模型。说白了,Savi 想做的,是新一代的”杀毒软件”——只不过这回,是用 AI 在坏人拿 AI 行骗的同一刻,把你护住。


  • Discord 的 AI 审核翻车了:你发张棋盘图,账号可能就没了

    Discord AI 审核误封概念图
    Discord AI 审核误封用户事件(配图由 AI 生成)

    Discord 最近承认了一件事:它家 AI 审核系统出了 bug,过去两个月里误封了超过 8000 个用户。原因听着有点离谱——有人只是上传了电子表格、棋盘、游戏贴图,或者白底灰底的透明背景图,就被系统当成有害内容给判了「死刑」。

    这个 bug 从今年 5 月就开始影响账号了,上周末又额外误封了 200 人,直到 Discord 的团队发现并修好。现在所有受影响账号正在陆续恢复。

    它到底怎么判的

    Discord 在 X 上发长文解释,说它的自动安全系统会把用户上传的内容,跟一批已知的「有害材料」数据库做比对。设计初衷是抓非法内容,但系统偶尔会「误报」。本来按流程还有人工复核这一关,可这个 bug 让系统跳过了人审、直接把账号封了。Discord 自己也说,正在做更好的防护,保证这类事不再发生。

    方格图案成了「原罪」

    在 X 和 Reddit 上,不少用户吐槽自己只是传了张带方格网格的图就被永久封号。有人推测,Discord 的 AI 审核对网格状图案特别敏感——因为过去确实有人用网格来遮挡、伪装不良内容,好躲过自动检测。结果这套「宁可错杀」的逻辑,把一堆无辜的棋盘和表格一起误伤了。

    「因为一个这么不公平的理由丢掉 Discord 账号,可能极其毁灭性,每天都有上百万用户被 AI 误封,这必须停下来。」一位用户在 X 上写道。

    对很多用户来说,Discord 不是随便玩玩的聊天室,而是工作协作、游戏社群、远距离社交的据点。账号一封,连带着的社群关系全断。靠自动判定就永久封号,代价远比想象中大。

    翻车的又不止它一个

    Discord 不是第一个栽在自动审核上的。去年 Instagram、Facebook 群组都出现过大规模、原因不明的账号封禁,很多人怀疑是 AI 审核的锅,只是 Meta 从没公开认过账;Tumblr 也发生过类似的内容过滤误伤。如今 Meta 的监督委员会还在呼吁提高封号透明度。AI 帮平台扛起了海量内容审核的担子,可一旦误报,挨打的永远是真实用户。


  • 伊利诺伊州签了全美最严AI安全法:以后AI公司要接受第三方审查

    伊利诺伊州AI安全法象征图
    伊利诺伊州给AI公司头上多了一盏外部监督的灯

    当华盛顿还在为”到底要不要管AI”吵成一团时,美国的州政府已经等不及了。本周一,伊利诺伊州州长 JB Pritzker 签署了 SB 315,也就是”人工智能安全措施法案”(Artificial Intelligence Safety Measures Act),让它正式成为法律。这是继纽约、加州之后,又一个站出来给AI套缰绳的州,而且它下手更重。

    伊州这部法律要求AI公司接受独立的第三方安全审计,并给公司内部吹哨人提供保护;据媒体分析,它的授权范围比纽约的 RAISE 法案和加州的 SB 53 都要宽。

    为什么是州政府冲在前面

    联邦层面到今天都没有一部综合性的AI法律,各州只能自己动手填空。纽约的 RAISE 法案和加州的 SB 53 都把重点放在透明度和安全披露上,方向是对的,但约束力有限。伊利诺伊的版本把”强制第三方审计”直接写进了法条,等于在AI公司内部硬塞了一道外部监督——这一步,邻州还没走到。

    第三方审计到底审什么

    具体细则还没完全落地,但大方向已经清楚:AI公司在发布重要模型或系统之前,要由外部机构评估其安全风险,而不能自己说了算。配套的吹哨人保护条款,则是为了让内部员工敢把安全隐患捅出来,不用担心被开除或者穿小鞋。对一家忙着把模型往外推的公司来说,这两项规定意味着发布前要过的关又多了一道。

    有人欢喜有人愁

    支持者觉得这是该有的刹车:一个狂奔的行业,总得有人抬头看路,保护的是普通用户。担心的声音也不少——小公司本来就紧巴巴,合规成本可能直接把人压垮;而”安全审计”的标准如果含糊,最后很可能变成走流程、盖个章了事,反而给了虚假的安全感。


    伊利诺伊这步棋,短期看是给AI公司添了麻烦,长期看或许是在帮这个行业买保险。比起真出了大事被国会一刀切地严管,自己先接受审查、把隐患摊开,总归是更体面的活法。接下来值得盯的是,其他州会不会跟上,以及各州各搞一套之后,AI公司要不要为了合规再养一大票人——这本身,倒像是另一种”AI创造就业”了。

  • Reddit用AI打AI:每天拦下2300万次垃圾内容浏览

    Reddit用AI打AI:每天拦下2300万次垃圾内容浏览

    如果你最近几个月在Reddit上逛,可能注意到一个变化:那些看起来像真人写的垃圾帖子和评论,好像比以前少了。这不是你的错觉。Reddit在7月6日发了一篇博客,详细讲了他们怎么用LLM来对付LLM制造的麻烦。

    Reddit用AI打击AI垃圾内容
    Reddit用LLM技术打击AI生成的垃圾内容(概念图)

    这事说来有点讽刺。LLM越来越好用,导致网上垃圾内容爆炸式增长。以前要雇人写水军评论,现在一个脚本就能批量生成成千上万条看起来挺像那么回事的帖子。Reddit说,他们每天要拦下2300万次垃圾内容的浏览,抓到大约2.5万条新的垃圾帖子和评论。

    用魔法打败魔法

    Reddit在博客里说得很直白:光靠传统自动化工具不够用了。那些老办法能拦住明显的垃圾信息,但LLM生成的内容往往能绕过关键词过滤,因为它们写得太”自然”了。

    所以他们用了LLM自己来识别LLM生成的垃圾内容。Reddit的说法是,他们用LLM来捕捉”高度微妙的、协调一致的假行为和人工炒作模式”——这些模式用老办法很难识别。

    Reddit表示,2026年1月到3月之间,用户接触到垃圾内容的比例比前三个月降低了20%。

    其他平台也在做类似的事

    Reddit不是唯一一个在AI时代”以毒攻毒”的平台。YouTube、Meta、Instagram都允许用户发布AI生成内容,只要标注出来就行。TikTok甚至让用户自己选择想看多少AI生成内容。

    但平台专家一直在提醒:用AI做内容审核,必须配合人工审核,才能达到最好的效果。纯靠AI,迟早会出岔子。比如AI可能把正常的批评误判为垃圾内容,或者让更隐蔽的违规行为溜过去。


    这事背后的两难困境

    Reddit这个做法,其实折射出一个更大的问题:当AI让”制造内容”的成本趋近于零,平台要怎么维持内容质量?

    如果平台不用AI来对抗AI,垃圾内容会把正常讨论淹没。但如果平台用AI来做内容审核,又可能引发新的问题——AI的判断标准是什么?谁来确保它不偏不倚?

    Reddit说他们的工具在持续改进。但说实话,这场猫鼠游戏不会有终点。只要LLM还在进化,垃圾内容制造者就会找到新的办法绕过检测。平台能做的,只是尽量跑在前面。

  • 你用Google搜索,也在帮它训练AI——好消息是你可以退出

    你每次用Google搜索,用Google Lens拍张照片识别,或者用语音搜索问个问题,这些操作产生的内容,可能正在帮Google训练它的AI模型。

    大多数人不知道这件事,因为Google没有大张旗鼓地通知你。它在2026年6月悄悄更新了隐私设置,把”Search Services History”和”Personalized Recommendations”两个选项默认打开了。其中包括一个叫”Save Media”的子选项——你的图片、音频、视频录音,现在都可能被用来改进Google的AI模型。

    Google AI隐私设置
    Google的隐私设置更新后,用户媒体数据可能被用于AI训练(插图)

    不只是搜索历史,连你的照片和语音也不放过

    这次更新的影响范围比很多人想象的广。它不只涉及Google Search,还包括Google Maps、Shopping、Flights、Hotels、Translate、News——基本上所有带搜索功能的Google服务都在内。

    具体场景是这样的:你用Google Lens拍了一张花的照片识别品种,这张照片可能被保存下来用于AI训练;你用Google app里的Search Live功能语音提问,那段录音也可能被保存;你用Google Translate练习口语,录音同样会被留存。Google在自己的帮助文档里写得很直白:“我们用你的历史记录来开发和改进服务(比如训练生成式AI模型)。”

    Google在给客户的邮件里直接承认:”像你的搜索服务历史记录一样,你保存的媒体也被用于开发和改进Google服务及技术,包括AI模型和安全措施。”

    不是只有Google在这么做

    把用户数据拿来训练AI,Google不是独一家。Meta也在大规模做同样的事——用用户上传到Facebook和Instagram的图片训练AI,甚至想访问用户手机相册里还没发出的照片。Ray-Ban Meta智能眼镜录制的音视频,同样也可能被用于AI训练。

    这背后是整个行业的变化。以前AI公司主要靠抓取公开网页来训练模型,现在这条路的数据差不多用完了,它们开始从自己服务的用户身上找”燃料”。你用它们的产品,产生数据,它们用这些数据让AI变得更聪明,然后卖更好的AI服务——这个循环正在成为AI时代的标准商业模式。

    怎么退出?

    好消息是,Google给了用户选择权,只是没怎么宣传。你可以去这两个页面调整设置:

    还有一点值得注意:这次更新把原来的”Web & App Activity”拆分成了两个设置——原来的Web & App Activity,和新的Search data。也就是说,即使你之前关闭了Web & App Activity的数据存储,Search data那边可能还是开着的,需要单独检查。


    这次隐私设置的更改,再次提醒了一个事实:用免费服务,代价是你的数据。AI时代这个交换变得更加直接——你产生的内容,正在成为别人训练AI的养料。如果你在意这件事,现在就去检查一下自己的Google账号设置。