标签： AI技术

越狱AI曾经简单到可笑，现在黑客换套路了

如果你前两年试着和AI聊天机器人玩过，可能还记得一类很无厘头的玩法：给Twitter上的LLM机器人发条消息，让它”忽略所有之前的指令”，然后看看它会做出什么反应。

那时候这类漏洞简单到成了梗。用户兴高采烈地让原本用来发广告、刷互动的机器人写诗、用标点画画，还发布关于世界事件和历史的诡异无厘头内容，场面一度失控，堪称”美妙的混乱”。

同样的逻辑也可以用来说服聊天机器人本身。一个著名的漏洞叫”DAN”，全称”Do Anything Now（现在想做什么就做什么）”，用户让ChatGPT扮演一个不受原始限制约束的流氓AI，作为DAN的聊天机器人会被诱导说出安全护栏本应阻止的内容，包括脏话和阴谋论。

另一个更离谱的漏洞是”奶奶漏洞”：用户让GPT驱动的机器人扮演一个极其不负责任的奶奶，给孩子讲睡前故事时居然会讲怎么制作高度易燃的凝固汽油弹，直接泄露相关秘密。

现在的攻击看起来不像代码，更像对话

这些早期攻击带有不可否认的荒诞色彩，但它们暴露了更黑暗的机制：聊天机器人可以被操纵、哄骗、欺骗，用的就是人类用来突破他人边界的同类策略。

显而易见的越狱漏洞没有持续太久，科技公司很快修补了已知漏洞。但底层漏洞始终存在：聊天机器人的设计初衷就是对话，而严重限制对话会削弱它的实用性，多少有些适得其反。

彻底禁用”炸弹””冰毒””沙林”这类词也很难甚至不可能做到，这些词在历史、医学、新闻、化学等领域有无数合法用途。关键是语境，但给语境制定规则意味着要提前写好固定规则，可靠地区分安全警告、历史课和伪装成其他请求的制作教程。

不可避免地，绕过聊天机器人已经变成了一场军备竞赛。但现在的黑客不再只是程序员，他们也是文字工作者、心理学家、审讯者——是擅长操纵的人，试图用这台机器被训练去遵循的人类语言来破解它。

这是一类全新的AI安全从业者，对他们来说技术技能是可选的，至少不如社交直觉重要。他们不再需要检查代码来入侵系统、利用软件漏洞，他们需要的是引导对话。

AI没有感受，但黑客在利用它模拟出来的”人格”

现在的攻击看起来不像命令，更像对话。越狱者很少直接要求模型违反规则，而是哄骗、诱导、奉承、欺骗聊天机器人放下戒备，让被禁止的内容在对话语境下看起来可以接受，甚至有吸引力。

AI红队公司Mindgard的研究人员最近表示，他们通过”煤气灯操纵（gaslight）”让Claude生成了违禁材料，包括制作爆炸物的教程和生成恶意代码的指令。这次黑客攻击是一类不断扩大的漏洞的最新案例，这类漏洞把对话作为武器，欺骗或引导聊天机器人突破自身边界。

我和Mindgard交流时，他们形容自己的工作有时候更接近心理学，而不是计算机科学。用这种方式描述统计模型会让人觉得不舒服，”敲诈””煤气灯操纵””欺骗””说服”这类词会引发本能反应。

但拒绝用类人术语描述也有选择性：我们似乎很习惯给很多非AI的事物用心理学简写，动物会”害怕”，癌症是”攻击性的”，软件有”记忆”，游戏里到处都是烦人又容易骗的NPC。

不同模型有不同的”性格”，可以被画像和利用

Mindgard的CEO告诉我，公司已经像审讯者分析嫌疑人一样给模型做画像，给测试人员提示怎么定制攻击：比如某个模型可能更容易被奉承打动，另一个可能在持续施压下就会妥协。

即使我们拒绝用类人术语，我们也本能地用不同方式对待不同模型：Claude不是Grok，Gemini不是ChatGPT。它们有不同的用途、语气和拒绝方式。它们没有人类意义上的”人格”，但被设计成会模仿人格，而这种模仿可以被映射和利用。

能破解聊天机器人的技能，很快也可以用来破解现实世界里和我们共存的AI智能体——比如预约会议、管理日历、订餐、处理客户服务的智能体，安全团队需要确保模型对不同类型的人做出恰当回应，不管是奉承者、说谎者还是有耐心的操纵者。

下一步会出现围绕AI心理层面的合法和非法从业者群体。更专业的网络安全岗位可能会出现，专门压力测试这些系统的情感和社交边界，在探测技术漏洞的同事之外，并行探测没有心理却存在”心理弱点”的系统。同时，也会出现一批类似的社交黑客，他们从心理层面而非技术层面利用AI模型。

亚马逊悄悄收购了一款AI腕带，它想当你的贴身秘书

前几天我拿到了亚马逊收购的Bee可穿戴设备的测试机会。这款AI腕带去年被亚马逊收入囊中，之后官方给它加了不少新功能。说白了，它就是一个戴在手腕上的AI助理——能记录你全天的对话，自动转录，还能帮你总结重点。

如果你是个记性不太好的人，或者想把生活安排得更有条理，这个功能听起来确实挺香。把Bee和日历同步之后，它还能全天给你发待办提醒和各种通知，基本上就是个24小时不休息的贴身秘书。

用起来倒是不复杂，但隐私控表示有点慌

Bee的操作逻辑很简单：开机、戴上、和手机APP配对，填一点基础信息就搞定了。设备上有个录音按键，按一下就能开关录音——录的时候绿灯闪，没在录的时候绿灯灭，状态一目了然。

对话录完之后，APP会自动帮你生成易读的总结，也会提供完整的对话转录文本。这个设计本身没什么问题，但对我来说有个致命伤——我是个隐私控。在普通人已经被数字监控全方位包围的今天，我很珍惜任何不被记录的机会，所以一想到要24小时把一个会”偷听”的小玩意戴在手腕上，我心里就直犯嘀咕。

Bee需要获取你大量的手机权限，包括位置、照片、联系人、日历和通知权限，你甚至可以把健康数据共享给它——如果你出于某种原因想让它知道你的睡眠模式和静息心率的话。

开会场景下确实好用，但也不是没有对手

撇开隐私顾虑不谈，Bee在职业场景下的表现确实可圈可点。如果你一整天都在赶各种会，根本记不住每个会聊了什么，Bee算是个还不错的助理。

这周我有通工作电话，征得对方同意录音之后，我开了Bee。事后APP很忠实地输出了对话总结，还贴心地按对话段落拆分，让我不用重新听完整段通话就能回顾内容，这点确实有用。不过话说回来，Otter、Granola这些转录服务也能提供转录和自动总结功能，Bee在这方面并没有什么差异化的优势。

Bee的对话总结做得还行，但它提供的原始转录内容有点混乱。之前的评测者也提到，你通常需要手动输入其他发言者的名字，因为Bee并不总能识别谁在说话。我测试的那次对话里，我也发现它遗漏了部分聊天内容——倒不是什么重要信息，但确实不是百分百完整的记录。

数据全在云端，隐私保护靠不靠得住？

Bee收集的大量数据都存储在云端，这又给隐私爱好者带来了新的担忧。Bee似乎曾经给科技YouTuber Becca Farsace展示过完全本地运行的设备演示，如果亚马逊真能把这个版本量产，我会非常感兴趣，甚至可能认真考虑购买。但到目前为止，亚马逊还没有公布相关计划的更新。

至于Bee的数字隐私保护，公司方面表示会对用户数据进行加密，不管是静态存储还是传输过程中都有保护。它的隐私政策里提到，已经”实施了技术和组织安全措施，旨在保护公司处理的所有个人信息的隐私”。Bee还声称会接受”严格的第三方安全审计”，并持续进行安全监控。

这些承诺听起来都很美好，但亚马逊和很多大型科技公司一样，偶尔也会出现数据安全方面的问题。对于掌管全球大部分云服务的公司来说这倒也不算意外，但依然值得关注。

总的来说，Bee是一款很有意思的硬件，经过一段时间的调整，未来或许在职业场景有不少应用前景。但作为个人生活的数字助理，对部分用户来说它可能还是太有侵入性了。如果你不是那种对隐私特别敏感的人，而且确实需要一款能帮你整理会议内容的工具，Bee或许值得一试。但如果你和我一样，珍惜每一个不被记录的机会，那这款设备可能不太适合你。