EZ.AI Daily
每日 AI 新闻与论文精选
合成数据重写：算力与规模的博弈
正在播放 1/10
0:000:00
2026年10月27日
在大模型预训练领域，使用语言模型对自然文档进行风格重写（Synthetic Rewrites）已成为构建训练语料的标准手段。然而，这一过程背后的核心机制长期处于迷雾之中：究竟应该投入多少算力来生成这些重写数据？经过重写数据训练出的模型，能否在性能上超越那个负责重写的“老师”？为了解答这些疑问，研究人员提出了一种全新的“重写缩放定律”（Rewriting Scaling Law）。该定律通过预测模型大小、训练令牌数、重写令牌占比以及自然数据训练轮次之间的关系，并精确计入生成重写数据所消耗的算力，从而为合成数据的优化使用提供了理论框架。
研究在两种截然不同的场景下验证了这一缩放定律。首先是在算力受限的场景中，假设自然数据充足，且重写器（Rewriter）是一个由第三方训练、拥有比当前实验最大规模更多算力的强大模型。研究发现，随着总计算量的增加，最优的重写数据占比也随之上升。具体而言，当计算量达到 3×10^18 FLOPs 时，最优重写占比低于 10%；而当计算量飙升至 10^22 FLOPs 时，这一比例上升至 32%。为了验证预测的准确性，研究团队将缩放预测外推了 33 倍 FLOPs，训练了一个拥有 220 亿参数（22B）的模型。令人惊叹的是，该模型最终的损失值与预测值仅相差 1.1%。更关键的是，这个 22B 模型在多个网页领域实现了比其重写器更低的 BPB（每字节比特数），而它所消耗的预训练算力仅为重写器的十分之一。这一结果有力地证明，学生模型完全有可能在效率上超越老师。
其次，研究探讨了数据受限的场景。在此设定中，仅有一组固定的自然数据种子集，且重写器是一个与目标模型大小相同、仅在该种子集上预训练的模型。研究再次发现，随着计算预算的增加，最优重写占比同样呈现上升趋势。此外，研究还展示了一个令人振奋的现象：即使重写器与目标模型大小相同，且仅基于相同的种子数据训练，经过重写数据训练的目标模型在每一个模型规模（直至 3B 参数）上，都击败了仅使用自然数据训练的最佳模型。
这项研究通过缩放定律的视角，揭示了合成重写并非简单的数据增强，而是一种可预测、可优化的方法论选择。它表明，随着算力的提升，合成数据的价值并未边际递减，反而可能成为突破性能瓶颈的关键。最优的方法论选择是可以被预测的，且缩放规律并不会因为超越重写器的能力范围而失效。这为未来大规模预训练中合成数据的配比策略提供了坚实的数学依据，也暗示了在算力无限增长的道路上，合成数据或许将成为比自然数据更高效的“燃料”。
2026年10月27日
在人工智能领域，语言模型的智力边界已屡被刷新，但如何让机器像人类一样灵巧地处理物理世界中的复杂交互，始终是一道难以逾越的鸿沟。为了精准衡量这一能力，研究人员推出了名为PhysLadder的层级化仿真-现实基准测试。这项研究旨在通过一套精心设计的家庭任务，深入剖析GPT-6 Astra模型在接触密集型操作中的真实表现，揭示其在物理交互能力上的具体边界。
PhysLadder并非简单的任务集合，而是一个包含16个家庭任务的层级结构，分为三个累积难度等级。第一层级（L1）聚焦于接触选择与几何对齐，考察模型能否准确找到并接触物体；第二层级（L2）要求模型在持续接触中进行力调节，考验其对物理反馈的精细控制；第三层级（L3）则最为严苛，要求模型进行协调的接触重构与力调节，模拟最复杂的物理交互场景。为了确保评估的严谨性，每个任务都在物理和视觉上完全匹配的仿真环境与真实世界环境中同步实例化，并共享相同的任务定义和成功标准。这种“匹配仿真”的设计，使得研究者能够排除环境差异带来的干扰，纯粹对比模型在不同物理需求下的表现。
研究团队对GPT-6 Astra进行了零样本评估，每个任务在每种环境中均进行三次尝试。数据揭示了一个令人深思的递减趋势：在真实世界环境中，模型在L1层级的成功率高达80.0%，显示出其在基础接触任务上的强大能力。然而，随着任务复杂度的提升，成功率急剧下滑。在L2层级，成功率降至47.6%；而到了需要高度协调的L3层级，成功率直接跌至0.0%。仿真环境中的数据走势与真实世界高度一致，分别为66.7%、47.6%和0.0%。值得注意的是，在16个任务中，有10个任务在仿真和真实环境中的成功次数完全相同，其余6个任务也仅相差一次成功（在三次尝试中）。这一高度一致性有力地证明了匹配仿真环境作为可重复、可扩展测试床的有效性。
尽管模型在基础任务上表现优异，但分析显示，空间推理、接触选择、力调节以及协调能力的反复失败，是导致模型无法将局部的物理进展累积为最终任务完成的主要原因。特别是在L3层级，模型似乎无法将多个简单的物理动作整合为连贯的整体操作，这暴露了当前大型语言模型在处理持续、协调的物理交互时的根本局限。PhysLadder不仅刻画了GPT-6 Astra在交互需求增加时的能力边界，也为未来研究提供了标准化的评估框架。
这项研究提醒我们，智能不仅仅是逻辑推理，更包含对物理世界的深刻理解与操控。当模型在虚拟世界中能完美执行动作，却在真实世界中因细微的力反馈偏差而失败时，我们看到的不仅是技术的短板，更是通往通用物理智能的必经之路。如何在仿真与现实的缝隙中搭建更稳固的桥梁，将是人工智能迈向具身智能的关键一步。
2026年10月26日
在机器人灵巧操作领域，如何高效获取高质量的演示数据一直是制约技术发展的核心瓶颈。传统的遥操作方式虽然能记录可执行的机器人动作，但需要完整的机器人硬件支持，且操作员需协调众多手指关节，负担沉重；而人类演示虽易于收集，却缺乏直接的机器人动作数据，必须经过复杂的估计和重定向才能使用。为了解决这一痛点，研究人员推出了DexPort，一种专为高自由度机器人手设计的便携式数据采集接口。DexPort的核心创新在于它使用与部署阶段相同的硬件进行数据采集，从而彻底消除了“手部本体差距”，同时能够记录指令关节目标和测量关节状态。研究团队的关键观察是，少量的一组技能即可支持广泛的灵巧任务。在采集过程中，操作员只需移动手持接口来指定机器人手腕的运动，并选择或调整协调手指运动的技能，无需独立控制每个关节，既保留了精确抓取和手内操作等行为，又大幅降低了操作难度。研究团队在多个真实世界任务和非结构化环境中，无需机械臂辅助，利用该便携设备收集了超过2500条演示数据。随后，他们使用行为克隆技术，直接基于记录的手腕运动和手部命令训练视觉运动策略，无需技能标签。在四项评估任务中——包括多样化物体的拾取与放置、使用手内工具的螺丝拧紧、需要同时抓取和拉动的抽屉收纳，以及双手扫描任务——DexPort展现了显著优势。数据显示，使用记录的机器人命令而非状态，任务成功率从11%提升至64%；而使用野外数据则使任务成功率从36%提升至78%。这一成果不仅证明了便携设备在复杂环境下的有效性，也为灵巧手的数据采集提供了新的范式。当技术不再被笨重的硬件束缚，机器人学习或许能像人类一样，在真实世界的每一次触摸中快速进化。
2026年10月26日
在人工智能探索物理世界交互的征途中，一个名为RynnUnify的16B统一具身模型应运而生。这款模型不仅具备强大的具身理解能力，更通过交织的视频-语言推理实现了长时程的视觉规划。它巧妙地将对物理世界的理解与对世界如何随子任务演变的视觉预期连接起来，涵盖了空间推理、物理预测和定位等关键能力。
为了进一步挖掘其潜力，研究团队开发了两种扩展机制。首先，通过强化学习构建了一个智能体扩展，使其能够选择性地利用视频预测来推理未观察到的状态和交互结果。其次，团队开发了世界-动作扩展，将RynnUnify的理解和预测能力直接转化为机器人控制指令。为了全面评估这些能力，研究团队还引入了Rynn-VP和Rynn-GEU两个基准，分别用于长时程视觉规划和预期推理。
实验结果令人瞩目。在评估的统一多模态模型中，RynnUnify取得了最高的平均具身理解分数。在长时程视觉规划方面，它比Cosmos 3 Nano的Rynn-VP总分提高了9.75分。其智能体扩展在Rynn-GEU平均得分上比直接推理提高了6.0分。而在实际机器人控制中，世界-动作扩展在20个选定的RoboCasa365复合任务中实现了51.5%的成功率，并在三个真实机器人任务中取得了46.7%的平均成功率。
这些成果共同确立了RynnUnify作为具身理解、视觉规划和机器人控制共享基础地位，标志着向统一具身大脑迈出了坚实的一步。当机器不仅能理解世界，还能预判未来并付诸行动时，我们或许正站在通用具身智能的门槛上。
2026年10月26日
在生成式人工智能的广阔版图中，能量模型（EBMs）一直被视为一种极具潜力的灵活架构。它的核心魅力在于将概率建模与生成过程彻底解耦，这种独特的机制不仅直接支持组合式生成，更赋予了模型在推理阶段进行扩展的能力——这意味着，仅仅通过增加采样步骤，就能显著提升样本的质量。然而，长期以来，高维空间采样的严峻挑战以及深层架构带来的训练不稳定性，像两道难以逾越的屏障，将EBMs限制在低维度的应用环境中，使其难以在高质量图像合成领域大展拳脚。
为了打破这一瓶颈，研究团队推出了Transformer能量模型（TEM）。这是一个完全在潜在空间内运行的可扩展Transformer能量函数。TEM不仅仅是一个简单的骨干网络，它通过从多个层中提取能量并求和，巧妙地组合了从局部纹理到全局语义的互补约束。这种多层级的能量提取机制，使得模型能够同时关注细节的丰富性和整体结构的合理性。
为了在大规模应用中实现高质量生成，TEM引入了两个关键组件。首先是正向表示对齐（PRA），它利用视觉基础模型对TEM的中间表示进行监督，确保模型内部特征与强大的视觉理解能力保持一致。其次是先进的采样策略，这些策略在推理阶段进一步优化了样本质量。正是这些创新，让TEM在高分辨率图像生成上取得了令人瞩目的突破。
实验数据有力地证明了TEM的实力。在ImageNet 256×256类别条件图像生成任务中，TEM-XL在没有使用无分类器引导（classifier-free guidance）的情况下，实现了3.82的FID-50K分数，这表明对比能量模型完全有能力生成高保真度的图像。更令人振奋的是，当分辨率提升至512×512时，TEM依然表现出色，取得了8.24的FID-50K分数，充分证明了该方法在更高分辨率下的可扩展性。
除了图像生成的质量，研究还进一步验证了EBMs的核心承诺。TEM成功展示了组合式生成、零样本修复（zero-shot inpainting）以及分布外检测等能力。这些功能不仅丰富了模型的应用场景，也证实了能量模型在复杂视觉任务中的通用性和鲁棒性。
TEM的出现，标志着能量模型在高维图像合成领域迈出了关键一步。它通过结合Transformer的强大表征能力和多层能量约束，解决了长期困扰该领域的训练不稳定和采样困难问题。随着模型规模的扩大和技术的迭代，能量模型或许将成为未来生成式AI中不可或缺的重要支柱，为图像创作带来更加灵活和可控的新范式。
2026年10月26日
在科学与工程领域，理解并控制复杂系统的演化一直是核心挑战。许多问题要求研究者对完整的轨迹进行推理，而不仅仅是关注瞬间的变化。现有的方法通常局限于学习局部动力学或生成轨迹，但这些基于单个过渡构建的目标往往忽略了时间跨度上的依赖关系。与此同时，生成式模型虽然能产生数据，却难以提供用于评估和优化任意路径的可处理目标。为了突破这一瓶颈，研究人员提出了一种名为“行动学习”（Action Learning）的新问题，旨在从轨迹观测中恢复随机行动，从而为动力学系统的推理提供一个统一的目标。
为了解决这一难题，研究团队引入了LEAP（Learned Energy on Action Paths，行动路径上的学习能量）框架。LEAP的核心创新在于将未知的行动锚定到一个可处理的参考过程上，并通过比较观测轨迹与参考轨迹来学习剩余的修正量。这种构建方式在路径空间上产生了一个可微分的目标，它不仅能够捕捉局部的动力学结构，还能有效识别时间上的非加性依赖关系。一旦学习完成，同一个行动模型可以灵活地复用于路径排序、推理、机制引导、约束优化以及采样等多种任务。
在广泛的实验验证中，LEAP展示了其强大的通用性和准确性。在随机物理系统、多体轨道动力学以及分子模拟等多个领域，LEAP成功恢复了潜在的动力学机制，捕捉了跨越时间的复杂依赖关系，并实现了在不同推理目标和物理条件下的有效迁移。这一成果表明，行动学习是一个极具前景的框架，能够将轨迹观测转化为可复用的科学推理与控制目标。当我们将目光从孤立的瞬间转向完整的轨迹，我们或许能更深刻地理解系统演化的内在逻辑，从而在复杂的科学世界中找到更精准的导航方式。
2026年10月26日
在人工智能的广阔领域中，世界模型一直是连接感知与行动的关键桥梁。然而，长期以来，一个顽固的难题困扰着研究者：动作条件的极度异构性。现有的动作条件世界模型往往被设计为针对单一动作类型的“专家系统”，例如专门处理相机控制或机器人姿态的独立模型。这种碎片化的架构不仅导致开发成本高昂，更致命的是，它将本就稀缺的动作标注数据分散在不同的模型中，使得每个模型都难以获得足够的数据支持来充分学习。面对这一困境，研究团队提出了名为UniAction的统一动作条件框架，旨在打破这种孤岛效应，让异构动作在同一个时空结构下共同驱动一个共享的世界模型。
UniAction的核心创新在于其独特的动作表示方法。它不再将动作视为不可分割的整体，而是将其解构为一组稀疏的“动作元素”。每个动作元素都拥有两个关键属性：一个是离散的语义身份，用于定义动作的性质；另一个是连续的时空定位坐标，用于精确描述动作发生的位置和时间。这种设计巧妙地利用了预训练视频模型的原生位置空间，将动作坐标直接映射其中。这意味着，无论是物理力、相机运动、手部姿态还是机器人姿态，它们都能被统一编码进同一个时空框架内，从而让一个共享的世界模型能够同时理解并响应多种类型的动作指令。
然而，统一表示并非没有挑战。不同动作类型的表示粒度存在显著差异，这可能导致模型在处理不同动作时产生偏差。为了解决这一问题，UniAction引入了“基数校准注意力”机制。这一机制能够根据动作表示的粒度差异进行动态调整，有效消除了因表示粒度不同而带来的偏见，确保了模型在处理各种异构动作时的公平性和准确性。
为了验证UniAction的有效性，研究团队在四种具有代表性的动作形式上进行了全面评估：力、相机控制、手部姿态和机器人姿态。实验结果令人振奋。UniAction在动作跟随能力上显著优于其他条件替代方案。更引人注目的是，一个联合训练的单一模型，其表现甚至超越了针对特定动作训练的专家模型。这一发现有力地证明了，异构动作数据在统一模型和联合训练的模式下，能够产生协同效应，相互促进，从而提升整体性能。
UniAction的出现，不仅是一种技术架构的革新，更是对数据利用效率的一次深刻反思。它表明，在数据有限的现实约束下，打破模型间的壁垒，通过统一框架整合异构数据，可能是通往更通用、更强大世界模型的关键路径。当不同的动作在同一个模型中对话，我们或许能窥见人工智能从“专才”走向“通才”的一角。未来的世界模型，或许不再需要为每种动作单独建造一座孤岛，而是构建一个能够容纳所有动作的海洋，让智能在统一的时空结构中自由流动。
2026年10月26日
在深度学习的基础设施中，Softmax、Log-Softmax和交叉熵损失函数被视为理所当然的基石。然而，最新的研究揭示了一个令人不安的事实：这些标准实现中隐藏着两个严重的数值Bug，它们如同潜伏在模型训练深处的幽灵，长期干扰着神经网络的优化过程。研究团队深入剖析了这些看似完美的数学公式，发现了名为“Softmax Collapse”和“Softmax Cancellation”的两个关键缺陷，并提出了简单的修复方案，这一发现不仅纠正了长期的计算误差，更解释了多个困扰研究者的神秘现象。
第一个Bug被称为“Softmax Collapse”。当目标Logit（对数几率）远大于其他Logit时，标准实现会导致目标Logit的梯度被舍入为零。这直接破坏了梯度求和为零这一基本数学性质，导致优化器在更新权重时出现偏差。第二个Bug则是“Softmax Cancellation”。当学生模型（Student）的Logit与教师模型（Teacher）的Logit非常接近时，标准实现会产生非零梯度，即使两者实际上完全相等。这种虚假的梯度信号会误导模型，使其在已经收敛的情况下继续无意义的调整。
研究团队通过重新实现Log-Softmax、Softmax和交叉熵函数，彻底修复了这两个Bug。这一修复带来的影响远超简单的数值修正，它直接消除了一系列此前被观察到的异常现象。首先，它消除了所谓的“Slingshot”现象，即模型在训练过程中出现的非预期跳跃或行为异常。其次，在结合权重衰减（Weight Decay）的训练中，修复后的实现显著加速了“Grokking”过程。Grokking是指模型在长时间看似停滞的训练后，突然从记忆数据转变为真正理解任务规律的现象，修复Bug后这一过程变得更加高效。
此外，修复方案还解决了在没有权重衰减情况下发生的“精度崩溃”问题。在知识蒸馏（Distillation）场景中，标准实现往往导致学生网络逐渐偏离教师模型，而修复后的版本成功阻止了这种漂移，确保了学生模型能够更忠实地继承教师模型的知识。研究还揭示了一个关于Logit增长的深层机制：在模型完成记忆阶段后，Logit的增长并非无限，而是受限于权重衰减与Adam优化器中epsilon超参数之间的平衡。这一发现为理解模型内部的数值动态提供了新的视角。
这项研究提醒我们，即使是最基础的数学组件，其数值实现的细节也可能对大规模模型的训练产生深远影响。那些看似微小的舍入误差或计算偏差，在数百万次迭代中累积，足以改变模型的最终行为。修复Softmax的数值Bug不仅是一个技术层面的修正，更是对深度学习基础理论的一次重要澄清。它表明，在追求更复杂架构和更大规模数据的同时，回归基础、审视底层实现的数值稳定性，依然是提升模型性能和可解释性的关键路径。当我们将地基夯实，那些曾经令人困惑的“幽灵”现象便会消散，模型训练将变得更加稳健和可预测。
2026年10月26日
在人工智能浪潮席卷全球设计行业的当下，Canva 刚刚投出了一枚重磅炸弹。他们正式推出了名为 Craft 的自研 AI 图像模型，这一举动不仅标志着 Canva 从单纯的设计工具平台向底层技术驱动型企业的转型，更在激烈的市场竞争中占据了极具战略意义的高地。Craft 一经亮相，便在设计领域的权威榜单 DesignArena 上占据了第四名的位置，其身后仅有三个 OpenAI 的模型，这一成绩足以让许多老牌科技巨头感到压力。更令人瞩目的是，Craft 在 DesignArena 上取得了 1340 的高分，这一数据直接超越了来自微软、谷歌以及 xAI 等科技巨头的顶级模型，并在肖像和自然类别中拿下了总分第一的宝座。
Craft 之所以能取得如此亮眼的成绩，并非偶然，而是源于其独特的训练逻辑和架构设计。与许多依赖通用互联网数据训练的模型不同，Craft 是建立在 Canva 庞大的内部资产库之上的。它学习了数百万个由专业设计师精心制作的模板，包括菜单、幻灯片和海报等。这种“近水楼台”的优势，让 Craft 对设计美学和布局逻辑有着更深刻的理解。此外，Craft 采用了一种两步走的架构：它首先规划每一个布局，然后再进行绘制。这种先谋后动的机制，使得生成的图像能够轻松通过 Magic Layers 功能转化为可编辑的设计元素，极大地提升了用户的实际工作效率。
目前，Craft 已经向 Canva 平台上的所有用户开放，同时也提供了公共 API 接口。更值得关注的是，Canva 正在推进 MCP（Model Context Protocol）访问权限，这意味着外部的助手和智能体也能接入这一强大的图像生成能力。对于拥有超过 2.5 亿用户的 Canva 而言，这不仅仅是一次技术升级，更是一次商业模式的闭环。在竞争对手因 AI 冲击而陷入混乱之际，Canva 凭借自身海量的训练数据优势，成功构建了护城河，将接近前沿水平的图像生成能力直接赋予了其庞大的用户群体。
这一事件深刻揭示了数据资产在 AI 时代的价值。Canva 证明了，拥有高质量、垂直领域的专有数据，足以让一家应用层公司打造出媲美甚至超越基础模型巨头的专用模型。当设计不再仅仅是创意的表达，而是数据与算法的精准计算时，传统的竞争壁垒正在被重塑。Craft 的崛起提醒我们，在 AI 的牌桌上，谁掌握了最懂行的数据，谁就握有了最锋利的筹码。未来的设计工具，或许不再只是画布，而是拥有无限想象力的智能伙伴。
2026年10月26日
在人工智能的激烈竞赛中，中国实验室Moonshot刚刚投下了一枚重磅炸弹。他们推出了Kimi K3.1 Pro，这是其7月发布的K3模型的升级版。Moonshot宣称，这款新模型在关键基准测试中已经“匹敌最强的专有模型”，并且其免费下载的权重预计将在11月4日前上线。这一举动不仅展示了中国AI技术的快速迭代能力，更在特定领域对美国顶尖实验室构成了直接挑战。
从性能表现来看，Kimi K3.1 Pro的表现令人瞩目。在Artificial Analysis的智能指数排名中，它位列第四，超越了OpenAI的GPT-6 Astra，仅次于Anthropic的5.5系列双雄和Meta的Muse Wonder。在Moonshot自有的测试中，K3.1 Pro在长达数小时的编码项目、专家级学术问题、文档密集型研究以及真实世界的工作任务中，均击败了Anthropic的Opus 5.5。这意味着，在复杂的长周期任务和深度知识处理上，中国模型已经具备了与全球最强对手掰手腕的实力。
然而，技术实力的提升往往伴随着成本与效率的权衡。K3.1 Pro的定价为每百万输入token 2美元，输出10美元，这与Anthropic的Sonnet 5.5相当，仅为GPT-6 Astra价格的五分之一。虽然价格极具竞争力，但值得注意的是，K3.1 Pro在token消耗率上高于其前沿竞争对手，这意味着在处理相同任务时，它可能需要更多的计算资源或更长的处理时间，这对大规模部署的成本控制提出了新的考量。
真正引发行业震动的是其在网络安全领域的突破。Artificial Analysis将K3.1 Pro评为最佳的公开可用网络防御模型，其得分高达64%，且没有任何安全拒绝行为。这一成绩紧随仅向经过审核的防御者开放的GPT-6变体之后。长期以来，美国实验室一直将其最顶尖的黑客模型严格封锁，以维持技术壁垒。但如今，一款中国模型已经站在了美国受限网络模型的身后，这一差距正在迅速缩小。
回顾今年5月，Anthropic CEO Dario Amodei曾预测，中国模型需要6到12个月才能在网络防御领域赶上美国水平。然而，K3.1 Pro的出现表明，这一时间表可能过于乐观。不仅防御能力接近顶尖，公开模型的攻击技能也极有可能紧随其后。这一进展打破了美国在AI网络安全领域的垄断预期，迫使全球安全社区重新评估威胁模型和防御策略。
Kimi K3.1 Pro的崛起不仅仅是一次技术升级，更是全球AI竞争格局变化的缩影。它证明了在特定垂直领域，尤其是涉及复杂推理和安全对抗的环节，中国AI实验室已经具备了定义行业标准的能力。当开源权重即将在11月4日释放时，全球开发者将有机会直接体验这一模型，这可能会进一步加速技术扩散，迫使美国实验室加速其开源策略或加强技术封锁。在这场没有硝烟的战争中，速度与开放度成为了新的竞争维度，而K3.1 Pro正是这一趋势的先行者。技术的边界正在被不断重塑，而谁能在开放与安全的平衡中找到最优解，谁就能在下一阶段的竞争中占据主动。