谎言语模子范式能走到 AGI 吗？

"我话语的局限，即意味着我全国的局限。"（Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt.）

形而上学家维特根斯坦在 1921 年写下这句话时，他驳斥的是东谈主类解析的畛域。一百年后，这句话精准地样子了谎言语模子面对的结构性逆境，要是 AI 的"话语"即是闹翻 token 序列，那么它的"全国"永久被困在 token 能抒发的范围内。

这也引出了一个须生常谭的问题：谎言语模子范式能走到 AGI（通用东谈主工智能）吗？

2024 年 12 月，OpenAI 前首席科学家 Ilya Sutskever 在 NeurIPS 发表主题演讲，他说"预检会行将闭幕"。2026 年 3 月，图灵奖得主 Yann LeCun 离开 Meta 创办 AMI Labs，径直宣判"谎言语模子道路错了"。

两位深度学习殿堂级的群众，一位遴聘颠覆我方亲手开启的预检会时间，另一位遴聘陆续践行我方信守多年的全国模子道路，去赌" LLM 的下一个时间"。

虽然完全不是现时的模子不好用或莫得生意价值，大模子的用户数目及渗入率都在捏续增长，产业价值会越来越大。然则从时候旅途来看，他们要抒发的是：这条路有一个结构性的天花板，这个天花板碰劲卡在通往 AGI（通用东谈主工智能）的路上。

2026 年 5 月，MIT 何恺明团队和字节越过 Seed 实验室简直同期发布论文，给出了一个更明确的信号：话语生成的中枢建模进程无须永久发生在闹翻 token 空间中，也不错滚动到聚合 embedding 或 latent 空间里完成，终末再映射回环本。

这是第一批来自工程实验的硬根据，逐 token 预计可能是通向 AGI 路上的一个局部最优解。但聚合空间范式盛开了另一条路，这条路的天花板也许更高。

图：好意思国国度东谈主工智能科学院院士，麻省理工学院电气工程与蓄意机科学系副西宾何恺明，图片由 AI 生成

    天花板在哪？

维特根斯坦的话不错这么分解。

东谈主类的闹翻话语不是想维的原生时事。大脑里面的解析行为是聚合的、并行的、高维的。比如东谈主类意象一个苹果时，激活的不是"苹果"两个字的 token，而是一大片嗅觉皮层的聚合行为步地，包括心理、质感、分量、咬下去的声息。东谈主之是以把这团聚合体验压缩成"苹果"这个闹翻标志，隧谈是因为东谈主类大脑的带宽逼你序列化。

东谈主类话语是进化遐想的有损压缩公约，它是跨脑传输的工程谐和。

咱们面前用到的主流的生意化大模子居品，底层都是自记忆架构（预计下一个 token）。

自记忆大模子作念的事情是，在这个压缩公约的输出时事上建模。它无法分解"全国如何运作"，它了解的是"东谈主类遴礼聘什么标志序列来样子全国"。它们极其擅长模拟东谈主类的话语行动，但模拟话语行动和分解全国之间，差着一个意识论的鸿沟。

比如躯壳感受，疾苦是若何的；空间直观，知谈若何接住球但无法样子如何接住的；因果骚扰的具身响应，比如要是"我把这个椅子推倒会若何"的直观。这些覆盖在东谈主类大脑中的"嗅觉"，从未被任何东谈主类话语编码过。是以它们从未插足检会数据，在 token 序列上作念任何建模，不论参数多大、数据多多，都波及不到这些维度。

这即是 token 范式的天花板。

  "逃遁"实验

从 token 空间逃遁的第一批实验正在发生。

何恺明团队的 ELF（Embedded Language Flows，镶嵌式话语流）作念了一件反直观的事：把翰墨生成的全进程留在聚合向量空间里完成，只在终末一步，确切唯一终末一步，才把聚合向量投影回东谈主类可读的翰墨。它用 Flow Matching（一种 2022 年由 Yaron Lipman 等东谈主建议的聚合正则化流框架）从噪声起程，沿学习到的速率场平滑演化到倡导镶嵌。32 个采样步，生成质料越过闹翻模子用 1024 步的终端。检会数据约 450 亿 token，唯一主流设施的特别之一。

图：ELF 仅用 32 步采样即超越 MDLM、Duo 等闹翻模子 1024 步的生成质料，且未使用蒸馏加快。模子参数 105M，检会数据约为同类设施的特别之一。

四天后发布的 Cola DLM（字节 Seed 团队）：先用 Text VAE 把话语压缩成更深层的语义潜空间，再在这个纯语义空间里用 Flow Matching 建模全局先验，终末才解码回环字。论时髦确说：扩散进程作念的是"潜在先验运输"，不是" token 级别的不雅测复原"。20 亿参数，8 个基准，与同体量自记忆模子和依然 scale 到 1000 亿参数的 LLaDA2.0 严格对比，聚合道路的 scaling 弧线是健康的。

图：Cola DLM 合座架构图

两篇论文的中枢都在抒发，token 不是话语建模的必要条目。聚合空间不错作念得更好、更快、更省。

图：自记忆模子逐 token 生成，每一步不可逆遴聘一个闹翻标志，已选 token 锁定后续通盘可能性。

图：聚合流模子从噪声起程，沿速率场平滑演化到倡导镶嵌，全程可逆可调，仅在绝顶映射回环字，ELF 论文。

AI 巨头也在质疑" Tokenization "？

这两篇论文仅仅学术信号，科技巨头也在用真金白银下注。

Google 是最早、也最坚硬地走向"原生多模态长入"的巨头。Gemini 的时候发扬明确写谈：它是" from the ground up "检会的多模态模子，" not by bolting a frozen vision encoder onto a text decoder "（不是把冻结的视觉编码器接到文本解码器上）。

文本、图像、音频、视频在归拢个模子里交错检会，分享肃穆力层。这个遐想形而上学从 2023 年 12 月的 Gemini 1.0 延续到了 2026 年的 3.1 Pro。2026 年 3 月发布的 Gemini Embedding 2 把这件事推到了表征层面：一个 embedding 模子，原生接管文本、图像、文档、音频、视频输入，一起映射到归拢个 3072 维向量空间。

Google 在作念的事情，实质上即是为通盘模态拓荒一个长入的聚合坐标系，模态之间的畛域在这个坐标系里不存在。

OpenAI 走了一条更辗转的路。GPT-4V 时间的架构是拼接式的，由一个视觉编码器外挂到话语模子上，跨模态信息需要经过特殊的投影层传递。GPT-5 系列公开强化了多模态推理才能，但 OpenAI 并未袒露富饶细的架构信息。不错笃定的是，OpenAI 正在把文本、视觉、视频等才能更深地整合进中枢模子体验；弗成笃定的是，它是否依然完成了长入 Transformer 层面的架构切换。

根据外媒报谈 Sora 运营时间"被职工视作遭殃核默算力的吞金兽"。OpenAI 遴聘砍掉视频愚弄，把算力聚积到 GPT-5.5 的 Agent 架构和 Codex 代码器用上。这也不错猜想：OpenAI 认可多模态长入的标的，但在视频生成这个具体维度上暂时退场，恭候更高效的架构决议熟识后重新插足。

字节越过 Seed 团队在 Cola DLM 论文的终末一句话是"为闹翻文本与聚合模态的长入建模指出了一条具体旅途"。Seed 团队袒露视频生成模子 Seedance 系列依然在使用访佛的聚合潜空间架构，特有上风在于：它同期领有抖音 /TikTok 级别的海量视频数据和前沿模子接头才能。要是聚合长入空间如实是下一代架构的谜底，字节是最有条目首先在工业范围考据它的公司。

Anthropic 的遴聘是通盘巨头中最特有的，它在刻意规避多模态生成。兑现 2026 年 5 月，Claude 莫得原生图像生成才能，莫得视频分解，莫得音频处理。2026 年 4 月发布的 Claude Design 生成的是结构化遐想产出物，原型图、线框图、幻灯片，而不是像素级图像。

Anthropic 把简直通盘资源压在文本推理和代码执行上。这个政策在生意上正在被考据：Claude Code 年化收入 25 亿好意思元，2026 年 5 月 Anthropic 隐含估值冲到 1.2 万亿好意思元（36 氪报谈），主要靠的是企业客户为推理和代码才能付费。但从范式演进的角度看，这是一个在蓄积时候债的遴聘。要是两到三年后竞争的中枢转向"谁能在长入聚合空间里同期分解和生成通盘模态"，Anthropic 就很被迫。

在巨头以外，两个最值得热心的稳定押注来自 Ilya Sutskever 和 Yann LeCun。Sutskever 创办的 SSI（Safe Superintelligence）在 2025 年 5 月完成 20 亿好意思元融资，估值 320 亿好意思元——莫得居品、莫得论文、莫得任何公开时候细节。投资东谈主买的隧谈是他对"下一个范式"的判断力。他在 NeurIPS 2024 所说的"预检会行将闭幕"，指的是靠堆数据预计 next token 的神气已到收益递减阶段，下一步需要的是质变。

LeCun2026 年 3 月离开责任越过十年的 Meta，创办 AMI Labs，融资 10.3 亿好意思元，估值 35 亿。他的 JEPA 道路和 ELF/Cola DLM 形而上学叠加，都是离开 token 空间、在聚合表征空间建模，但标的不同。JEPA 不追求生成传神的输出，强调在详细空间里预计事物演化的物理效果。

LeCun 在 5 月的访谈中说："自记忆机制一一预计 token，实质是在字符级别作念统计复现，不是在建模全国的因果端正。参数目的增多惩办不了这个结构性劣势。"他以为，生成仅仅模拟，预计才是分解。

要是 token 范式阑珊，

谁会莫得未来？

作念视频 tokenizer 的公司首当其冲。VQ-VAE、MAGVIT、OmniTokenizer，这些责任的中枢价值倡导是"高质料视频闹翻编码"。英伟达的 Cosmos Tokenizer、微软的 VidTok，大厂也在竞争。要是话语生成都运行把中枢蓄意移动到聚合空间，那么视频这类自然聚合的数据，更莫得原理被默许压成闹翻 token 序列。

实在的问题会造成：什么样的视觉表征既能高效压缩，又能保留富饶的物理、时序和语义结构。

然后是"多模态"这个居品叙事自己。当通盘模态分享一个聚合空间时，"多模态才能"造成默许建立，不再是各异化卖点。就像今天没东谈主把"复旧中语和英文"当成一个 AI 居品的中枢竞争力。作念模态桥接和对都的中间层居品也面对雷同的问题——要是基础模子原生在长入空间运行，文本和视觉之间不存在需要被弥补的"鸿沟"，弥补鸿沟的生意就莫得原理存在。

再往卑鄙推一步，今天通盘这个词行业按 token 收费，是因为自记忆模子的资本结构极其透明，输入输出的 token 数径直不错算出算力摧毁。

但要是中枢蓄意移动到聚合空间，扩散模子可能用固定步数生成恣意长度文本，输出长度与蓄意量脱钩，"摧毁了些许 token "就不再是资本的真实度量。

仅仅，AI 的发展太快，掂量 AI 生意价值的实在订价体系还没固定下来，下一个范式可能就会发生。而具体会是多快，莫得东谈主能够预计。

谎言语模子能走到 AGI 吗？

回到开始的问题，谎言语模子范式能走到 AGI 吗？

从 token 范式自己的结构来看，弗成，它的检会信号有信息论上的硬上限。东谈主类话语行动有损压缩公约，在编码时就不可逆地丢弃了全国的大都结构。在压缩产物上作念任何建模，都还原不了被丢弃的维度。

但"杀死 tokenization "也不等于到达 AGI。ELF 和 Cola DLM 阐扬了聚合空间更高效、更优雅，但它们的检会数据仍然来自东谈主类产出的内容，一个有损压缩后的全国。LeCun 看到了这一层，是以他押注"能预计物理效果的全国模子"。Sutskever 随机也看到了。

但这也许仅仅第一步，要是模子不再受困于东谈主类话语的压缩时事时，它需要的新检会信号从那儿来？

谜底随机不在更多的数据里，而在某种主动探索中——辞全国中行动，承受效果开云kaiyun.com，从响应中学习。亦然当今热心度特别高的 RSI，AI 的递归自我阅兵（Recursive Self-Improvement）。这也将是咱们在后头的著述中，陆续接头的主题。