标签: AI训练数据

  • 字节跳动悄悄开训10万亿参数大模型,张一鸣这次不想走捷径

    这周AI圈最炸的一条消息,不是哪家又发了新模型,而是一家公司”正在偷偷练一个超级大模型”。英国《金融时报》8月7日援引三位知情人士的说法称,字节跳动正在训练一个参数规模最高可达10万亿的AI模型,而且目前还处在最早期的预训练阶段。

    10万亿到底是个什么概念

    这么说吧,目前国内已经发布的最大模型是月之暗面的Kimi K3,约2.8万亿参数;阿里的Qwen 3.8-Max是2.4万亿。字节这个如果真冲到10万亿,差不多是它们的三倍多。横向看,业界估算Anthropic最强的Mythos 5大约8万亿、Fable 5约5万亿。换句话说,字节想一步跨到和西方最顶尖实验室同一个量级,甚至更高。

    能力越大,竞争越大。有网友借《蜘蛛侠》那句老话调侃:模型走到这一步不让人意外,但它还没正式推出,就已经改写了推理的算账逻辑。

    张一鸣给团队划了条红线

    这事儿最耐人寻味的,是创始人张一鸣的态度。据FT信源,他在Seed团队全员会上明确告诉员工,别依赖从竞品模型”蒸馏”出来的数据来换短期涨分。所谓蒸馏,就是拿别人大模型吐出的结果当养料训练自己——见效快,但本质是在复制别人已有的能力,永远只能追着跑。张一鸣宁可短期落后,也不想走这条捷径。

    这个判断和字节CEO梁汝波8月6日全员会的表态能对上。梁汝波罕见地公开承认,在大语言模型的基础能力上,字节和海外领先水平的差距正在拉大;但他同时强调,编程是目前最该盯紧的方向之一。一边认差距,一边把资源往底层模型和Coding上压,字节这次是想从”应用强”补到”基础强”。

    账没那么好算

    不过冷静下来看,10万亿更像一个目标上限,而不是已经锁定的规格。FT自己也说了,无法独立核实每一个细节,字节至今没确认也没否认。模型到底是稠密结构还是混合专家(MoE),现在谁也不知道——这直接决定那个”10万亿”里到底有多少是真正被激活的。

    更现实的拦路虎是算力。美国对高端AI芯片的出口管制,让这类训练跑起来比美国实验室更难、也更慢。要堆出10万亿规模的集群,要么靠此前囤的受限硬件,要么转向华为昇腾这类国产加速器。预训练本身就要3到6个月,后面还有微调、评测和安全测试,真要发布,窗口大概率落在2026年底到2027年。

    为什么是现在

    时机挺巧。最近一两个月,西方前沿模型接连因为安全问题”踩刹车”:Mythos 5因安全顾虑只向少数合作方开放,Fable 5被美国政府要求停服,OpenAI的Astra也因越界事件暂停研发。对手自己慢下来,等于给国内大模型撕开了一段追赶的窗口期。字节这一把押得最激进,赌的就是在别人犹豫的时候把差距抹平。

    但参数规模这两年已经反复证明:它和”谁更强”并不是一回事。10万亿能不能打,得等架构、训练数据质量和可验证的基准出来才算数。对普通人来说,比起这个数字本身,更值得看的是字节接下来愿意把多少真金白银,砸进这条最烧钱、也最不容易出成绩的赛道。

    象征10万亿参数规模的巨型神经网络
    10万亿参数意味着什么?它更像一个目标上限,而非已锁定的规格

    • 《金融时报》8月7日报道,字节正训练最高10万亿参数模型,目前仅早期预训练
    • 张一鸣反对蒸馏、梁汝波认差距但强调Coding,双线补齐底层能力
    • 出口管制下算力是硬约束,发布窗口或落在2026年底至2027年
  • Fender CEO说翻唱早就是“模拟版AI”,整个吉他圈这次真的怒了

    Fender 现任 CEO 爱德华·“巴德”·科尔(Edward “Bud” Cole)今年五月接受过英国媒体 T3 的一次采访,主题是 Telecaster 诞生七十五周年。采访里他顺带聊了几句 AI 和音乐,当时基本没激起水花。最近这段话被人翻了出来,在吉他玩家的圈子里迅速传开,然后炸了。

    Fender CEO Bud Cole
    Fender CEO 爱德华·“巴德”·科尔,2023年摄于日本|图片:Jun Sato/WireImage(The Verge)

    时机是这件事最要命的地方。就在不久前,Fender 刚给一批独立琴匠寄了律师函,主张自己对 Stratocaster 的琴身轮廓拥有版权,等于把整个手工吉他社群得罪了个遍。几位有影响力的吉他类 YouTuber 已经公开表态,以后不再买 Fender 的东西。风口浪尖上,老板这番关于 AI 的言论被挖出来,效果可想而知。

    “翻唱一直是某种模拟版 AI”

    科尔的基本立场是:AI 在音乐里根本不是新鲜事。他说,“我觉得只要有录制音乐存在,AI 就存在了。”在他看来,学吉他的第一道门槛是时间成本,第二道门槛是写歌,而 AI 能在第二道门槛上帮上忙。

    “我其实认为,翻唱音乐长久以来就是一种模拟版的 AI。”——Fender CEO 巴德·科尔

    他的意思是,还写不出自己的歌的人,可以先去弹偶像的作品。他拿自己举例:当年听 R.E.M.、U2、The Smiths、The Cure 听到腻,就想自己弹出来,于是学了吉他。这段本身没什么毛病,问题出在他接下来把这套逻辑推到了哪儿。

    连乐队队友也被算成了“模拟 AI”

    科尔说,刚开始尝试写歌的人还能依靠第二种“模拟版 AI”——你的乐队队友。你手里可能只有一段副歌或者一个 riff,鼓手和贝斯手往上加点东西,一首歌就成型了。而在他看来,AI 也能扮演这个角色。

    “我真的认为,我们正处在一个临界点上,可以把人从翻来覆去弹那几首老翻唱里解放出来,让他们真正进入那种和乐队一起干活的状态。”

    把人类队友和聊天机器人放在同一个功能位上,这句话让不少乐手直接破防。The Verge 的记者 Terrence O’Brien 写得很直接:如果你当面告诉自己的鼓手,他跟一个 AI 模型没什么区别,对方生气是完全合理的。

    这套类比站不住的三个地方

    把“人学翻唱”和“模型吃版权音乐”划等号,听上去顺,细想漏洞很大。

    • 量级根本不是一回事。没有任何一个人能学完一个生成式音乐模型的训练集。以 Suno 为例,外界估计其训练素材是以百万首计的,这跟一个青少年翻弹几十首歌不属于同一种行为。
    • 它抹掉了创作里成千上万个细小决定。写歌过程中,有的选择来自情绪反应,有的来自将错就错的意外,有的干脆是为了绕开自己的技术短板。这些决定加起来才构成一个人的辨识度,而不是一次 prompt 加一张数据点网络的输出。
    • 身体性没法复制。被称作 Samurai Guitarist 的 Steve Onotera 提到一个细节:演奏者的身体条件,以及人必然会犯的那些微小失误,让任何人都无法完美复刻别人的演奏。恰恰是这种偶然性,大模型给不出来。

    队友的例子同理。人身上带着自己那份独一无二的“训练数据”,那是人生经历、肌肉记忆和技术局限的混合物。你那个在大学修过爵士编曲、挑剔到不行的贝斯手,有品味也有直觉,这两样东西聊天机器人目前都拿不出来。

    “跨过鸿沟成为写歌大师”,问题是谁在跨

    采访后半段,科尔还说了一句更大的:“我相信 AI 会催生出一整代使用它的吉他手,帮他们连接其他音乐人、变得更高产,并跨过那道鸿沟,从写歌的学生变成写歌的大师。”

    越来越多的研究指向相反的方向:过度依赖 AI 工具正在造成能力退化。让 AI 帮你想一个押韵、给一个形容疼痛的比喻,跟你自己反复练习写歌不是一码事。AI 没在婚礼当天被人放过鸽子,也没为一段前副歌的过渡熬到凌晨三点。写歌这件事,重复才是核心——行业里流传的说法是,你得先写一百首(或者一千首,或者一万首)烂歌,才可能写出一首好的。跨过那道鸿沟的过程本身,就是把烂歌一首一首写完。

    真正刺眼的是那层双标

    抛开 AI 的技术争论不谈,这件事在吉他社群引爆的更深层原因,是一种前后矛盾的姿态:公司这边正拿着 Stratocaster 的琴身轮廓去主张知识产权,追着小作坊琴匠发律师函;老板那边却把音乐人的作品轻描淡写成“可以被学习的素材”,还顺手把这套逻辑安到了生成模型头上。

    Fender 至今没有对置评请求作出回应。对一家靠乐手信任吃饭七十五年的公司来说,这种沉默的代价可能比一次公关道歉更贵。


  • 一张图给画师0.005美元,这家AI视频公司想证明生成式AI不必偷

    过去两三年,插画师说得最多的一句话是:你们的模型是拿我的画练出来的,没人问过我。这话在法庭上吵着,在社交平台上也吵着。现在有一批AI创业公司换了个姿势入场——不否认这笔账,而是提出把钱补上。Pippa 就是其中一家。

    Pippa 平台生成的动画画面(图片来自 Pippa / The Verge)
    Pippa 平台生成的动画画面(图片来自 Pippa / The Verge)

    它做的事:按张、按秒给画师打钱

    Pippa 的主营业务和别家没什么两样,文字生成短视频片段,用户把片段拼成故事。区别在结算方式:只要订阅者生成的那张图或那段视频,风格来自某位真人画师,这位画师就能从平台拿到钱。

    每生成一张图,画师拿到 0.005 美元;每一秒视频,0.003 美元。而平台自己的订阅价,是每月 14.99 美元到 99.99 美元。

    除了按量分成,平台还从整体订阅收入里划出 5% 做版税池,签约画师按比例分。Pippa 在新闻稿里把这套结构类比成 Spotify,这个类比选得挺冒险,毕竟这些年抱怨被流媒体分成榨干的音乐人排着队。

    眼下的体量:4 位画师,800 个订阅者

    公司 5 月才上线,目前大约 800 个付费用户,正式签下授权和训练协议的真人画师只有 4 位,另有 4 位在谈。想加入的画师要走一套多步验证流程,证明提交的作品确实出自本人之手;通过之后,基于其画风训练的模型才会开放给订阅者。平台还给每位画师配一个主页,可以往站外的作品导流。

    有个细节比数字更能说明现在的气氛:Pippa 允许签约画师用化名。联合创始人 Sean Wright 说,谈过的画师里不少人是这个态度——我喜欢这套东西,但我不想被同行孤立。在插画圈,公开跟AI公司合作,约等于越过纠察线。


    钱付了,数据来源就干净了吗

    问题恰恰卡在这儿。Pippa 说未来想全面切换到只用自家签约画师数据训练的模型,但当下的技术底座仍是开源模型,用他们自己的说法,这些模型“对更广泛的内容做过初始训练”。翻译成人话:网上扒来的画,它照样用了。

    “过去 18 个月里所有这些模型,都是在没有许可的情况下拿真人的画训练出来的,行业就是这么起来的。我会想到 Napster 那阵子,所有人都在偷音乐,后来苹果推出 99 美分单曲,Napster 关门,我们才找到让音乐人拿到钱的另一条路。”——Pippa 联合创始人 Sean Wright

    类比听着顺,但有一处对不上。苹果卖的是唱片公司授权过的曲子,而生成式模型的那些“底料”已经进了权重,卸不下来。付费只能覆盖增量,覆盖不了存量。这也不是 Pippa 一家的难题,凡是号称合乎伦理的AI公司,只要模型不是从零自建,都要面对同一道题。Ben Affleck 的 InterPositive 选了彻底自建数据集,代价是前期烧钱,做出来的往往是很窄的专业工具,不是给大众用的东西。

    更现实的麻烦:东西还不够好看

    The Verge 的记者翻了 Pippa 的作品站,结论有点扫兴:满屏都是模仿皮克斯质感但没学到位的儿童向内容,看不出哪一条像是从某位独立画师笔下长出来的。这倒也不难理解,平台目前调用的还是和竞品同一批云端模型。

    接下来 Pippa 打算接入字节跳动的 Seedance 2.5,卖点是能一口气生成 30 秒、还能局部微调不用推倒重来。可这个模型别家也能接,接完差异化就归零了。真正的护城河只剩一件事:签到足够多、足够有辨识度的画师。而这件事又反过来取决于公众对生成式AI的观感能不能回暖。

    分成这件事的真正意义

    • 0.005 美元一张图,单价低到接近象征性,杠杆其实在生成量和那 5% 的版税池上
    • 允许化名参与,说明“合作即背叛”的社群压力还很硬
    • 底座仍是开源模型,所谓合乎伦理目前更像方向声明,不是既成事实
    • 授权数据的成本最终会体现在订阅价和内容丰富度上,两边都得有人买单

    把这件事放长了看,Pippa 的价值可能不在它今天付了多少钱,而在于它给行业立了一份可以被追问的账本格式:谁的风格、被调用了多少次、分到了多少钱。以前这些数字压根不存在,画师连自己被用了都不知道。有了账本,才谈得上讨价还价。至于每张图 0.005 美元这个价合不合理,那是下一轮的事。

  • 贝索斯3.2亿美元押注General Intuition:用游戏数据教AI理解真实世界

    General Intuition CEO Pim de Witte
    General Intuition 创始人兼 CEO Pim de Witte(图源:TechCrunch)

    大语言模型把文字玩得炉火纯青,可一旦要理解”东西怎么在空间和时间里动”,就明显露怯了。ChatGPT、Claude 这类模型擅长生成句子,却不太懂物理世界里的因果。General Intuition 这家公司觉得,答案不在更多文本里,而在数十亿小时的游戏录像中。

    “我们把它看作预训练的下一个阶段,”CEO Pim de Witte 说,”我们有一个单一模型,既能对着屏幕里的《堡垒之夜》做决策,又能适应真实世界的动态——这是大语言模型永远做不到的。”

    从游戏片段里长出来的公司

    General Intuition 脱胎于 Medal TV,一个让玩家上传和分享游戏高光的平台,月活大约 1000 万。过去几年沉淀下来的数亿小时录像,成了训练数据的起点。但真正值钱的不是画面本身,而是画面里内嵌的动作标签——玩家在哪个瞬间按了哪个键、按了多久。

    这家公司刚完成一轮 3.2 亿美元融资,估值 23 亿美元,总融资额累计到 4.54 亿美元(去年 10 月成立时先拿过 1.34 亿美元种子轮)。投资方阵容相当扎眼:Khosla Ventures 领投,General Catalyst、杰夫·贝索斯、埃里克·施密特,甚至还有 F1 世界冠军尼科·罗斯伯格,以及 DeepMind 和 MIT 的研究人员。更有意思的是,de Witte 据称在 2024 年底拒绝过 OpenAI 开出的约 5 亿美元收购 Medal 数据的邀约。

    八分钟真实数据,让机器人学会走路

    公司最终要卖的不是世界模型,而是一个能从游戏泛化到现实世界的智能体。演示里最抓人的一幕,是一台四足机器人用和游戏智能体完全相同的”大脑”在办公室里自主探索,偶尔撞上椅腿,像个刚学步的孩子。令人意外的是,给这个机器人的模型做微调,只需要八分钟在户外街道采集的真实数据。

    de Witte 把世界模型当成”训练场”——一个逐帧生成、而非传统引擎渲染的仿真环境。他让人走向一堵墙,角色没有穿过去。这种对物理常识的把握,正是他们押注的核心:游戏数据是一条能规模化的捷径。2025 年公司靠早期接入拿到了约 4000 万美元收入,产品计划在今年夏末正式开放。


    为什么是游戏,而不是更多视频

    多数竞争对手想仅凭视频画面反推动作,General Intuition 认为这远远不够。他们坚信,玩家按键的精确记录能帮模型区分”自我”和”环境”,建立起更深层的因果理解。Khosla 在采访里说,吸引他的是这份愿景加独有的数据壁垒:”对于世界模型,我认为那次跃迁会是 AI 里’直觉’的涌现。”

    • 资金大头投向算力扩张,已与 CoreWeave 合作,准备下一版模型的预训练
    • API 计划在今年夏末更大范围开放,让客户在工厂数字孪生、游戏工作室里检验模型
    • “我们不会去做一家自动驾驶公司,我们要让下一个人做这件事容易十倍”

    一条明确的红线

    de Witte 早年做过三年人道主义工作,包括在无国界医生组织。他给技术划了一条硬杠:不碰致命自主武器。”假设我公开说要做致命自主武器,你觉得别国会怎么反应?”但他欢迎模型用在搜救上。公司还做了个叫 Nerve 的平台,给玩家提供数据标注、再到机器人远程操控的工作机会——这代玩家最容易被 AI 冲击,他想让他们站在牌桌这边。

  • 三个23岁辩论队友做的AI数据公司,估值冲上200亿美元

    AI训练数据标注场景
    给AI实验室供训练数据,正在成为一门估值惊人的生意(图源:TechCrunch / Getty Images)

    硅谷最疯的造富故事又添一笔:一家帮 AI 实验室做数据标注的公司,估值要在不到一年里从 100 亿翻到 200 亿美元。更离谱的是,把它做起来的是三个 23 岁的年轻人,而且公司从成立第一天起就盈利。

    高中辩论队出来的独角兽

    Mercor 成立于 2023 年,三位创始人是在旧金山湾区一所高中的辩论队里认识的。去年10月,他们 22 岁,被福布斯评为全球最年轻的自手起家亿万富豪。如今 23 岁,据估算如果本轮融资顺利完成,每人身家将接近 43 亿美元。

    从 100 万美元到 20 亿美元年化营收,Mercor 只用了 24 个月——创始人称这是”史上最快的增长曲线”。

    卖的不是软件,是专家的人力

    Mercor 的生意模式很直接:把领域专家——博士、律师、医生、工程师、银行家、程序员——对接给需要高质量专业数据来训练前沿模型的 AI 实验室。它目前管理着约 3 万名合同工,用自研的 AI 面试平台筛过 500 多万候选人,每天给合同工发出的报酬超过 400 万美元。客户名单里有 OpenAI、Anthropic 和 Google;Meta 曾是它的大客户,直到 2026 年 3 月因一次安全问题暂停合作。

    估值翻倍的逻辑

    据彭博报道,Mercor 正在洽谈以约 200 亿美元估值融资 5 亿美元,并且已经拿到至少一份 term sheet。九个月前它刚以 100 亿估值完成 3.5 亿美元 C 轮。撑起估值的硬指标是营收:年化收入今年2月刚破 10 亿,到6月就翻倍到 20 亿,CEO 在 X 上亲自确认了这一里程碑。同一天,Mercor 还宣布收购 Deeptune——一家帮训练 AI agent 的公司,曾拿到 a16z 领投的 4300 万美元 A 轮,重写了数百个真实软件环境供强化学习练习,团队整体并入。这意味着 Mercor 正从静态标注,一路延伸到 agent 训练。

    光鲜背后的暗面

    2026 年一开始,Mercor 过得并不顺。3 月它卷入了开源库 LiteLLM 的供应链攻击,最多有 4TB 的内部与合同工数据暴露;Meta 因此暂停合作,合同工也发起了集体诉讼。福布斯还曝出前员工怀疑有朝鲜特工用盗取的凭证渗透进平台,另有员工因挪用资金被解雇。Mercor 自称调查显示对客户和合同工数据的影响”非常有限”。


  • Suno源代码泄露:AI音乐训练数据来自YouTube和Deezer抓取

    AI音乐生成与版权概念图
    AI 音乐生成的繁荣背后,训练数据来源正成为最敏感的命门

    AI 音乐生成平台 Suno 最近被掀了底。据 404 Media 报道、并经多家媒体确认,Suno 此前遭到黑客入侵,泄露出来的源代码把它的训练数据来源摊在了阳光下——那些被唱片公司告了又告的”未经授权抓取”,在代码里写得明明白白。

    黑客用的化名是 ellie.191,早在 2025 年 11 月就通过一次供应链攻击拿到了 Suno 员工的凭证,进而翻出了内部代码。泄露文件里有一组数字格外刺眼:一个叫 youtube_music 的文件夹里塞着超过 200 万段视频片段;从歌词网站 Genius 抓了超过 1.7 万小时歌词;从音乐流媒体 Deezer 抓了超过 1.2 万小时歌曲;就连 Shutterstock 旗下的素材库 Pond5,也被搬走了超过 6.2 万小时音频。

    更讽刺的是,Suno 的爬虫还带了一套筛选机制,专门把非音乐文件过滤掉,好让训练数据”更干净”。一边讲究数据质量,一边用着没授权的歌。

    用户的隐私,也没被漏掉

    泄露的不止是训练数据。黑客还碰到了部分用户资料:邮箱、电话号码,以及通过支付服务商 Stripe 处理的信用卡元数据。Suno 后来回应称,这起事件”主要涉及已不再使用的过时代码”,没有完整卡号泄露,按现行隐私法不需要逐个通知用户——但它 2025 年 11 月出事时,确实没有主动告知用户。

    这下,版权方手里的牌更硬了

    环球、索尼、华纳这几家唱片巨头早就以 RIAA 名义把 Suno 告上了法庭,指控它未经授权用受版权保护的音乐训练模型。Suno 一直用”合理使用”当挡箭牌,说公开网络上能拿到的音乐文件就能拿来训练。今年 5 月,唱片公司把诉讼里认定的侵权歌曲从最初宣称的 560 首,扩到了 6.1 万多首,法院也批了。这次泄露的抓取代码,等于给版权方递上了新证据。

    站在创作者一边的人声音更响。SZA 就说过,她怀疑自己一些还没发布的歌也被拿去用了;作曲人 Kenneth Blume 直接抨击,这是赤裸裸侵犯创作者的权利。有意思的是,Anthropic 和 Meta 去年夏天在一批作者提起的类似诉讼里赢了——同样的”合理使用”辩护,结果并不完全一样。

    • 对 Suno:诉讼阴影没散,反被添了实锤,后续授权谈判和合作关系都会更被动。
    • 对整个 AI 音乐行业:训练数据来源不透明,迟早会被扒出来,监管已在呼吁明确规则。
    • 对普通用户:你喂给 AI 平台的资料,平台自己都未必守得住。

    Suno 自己其实还在扩张,前不久刚完成 4 亿美元 D 轮、估值冲到 54 亿美元。但这次泄露说明,靠”公开网络就能随便抓”撑起来的增长,迟早要面对账单。AI 音乐能不能走得远,先把”歌是从哪来的”说清楚,大概是最基本的一课。

    📎 原文来源:Source Code Hack Reveals Suno’s AI Was Trained on Millions of YouTube Songs(CNET,综合 404 Media / TechCrunch 报道,2026-07-16)