EZ.AI Daily

在人形机器人领域，实现高效的 loco-manipulation（行走与操作结合）一直是核心挑战。传统方法往往依赖单一的动作表示来同时处理高层任务意图和全身协调，这要么给高层策略带来沉重负担，要么导致某一方面定义不足。为了解决这一痛点，研究团队提出了 SP-HLM 框架，其核心在于一种稀疏姿态驱动（Sparse-Pose-Driven）的接口设计。该接口巧妙地将五个对任务至关重要的身体姿态与一个学习到的潜在运动先验相结合，以互补的形式分别表示空间意图和全身协调。 SP-HLM 框架由三个关键模块组成。首先是 SP-VLA，这是一个视觉-语言-动作模型。它利用异步动作块推理，从多模态观察和语言指令中预测出与任务相关的稀疏姿态以及手指关节位置。这些稀疏目标为后续的运动生成提供了明确的方向。接着是 SP-MGM，一个通过两阶段蒸馏训练的运动生成模型。它能够在实时环境下，根据给定的稀疏目标重建出协调的全身运动。随后，一个预训练的运动编码器将这些运动映射为紧凑的潜在表示。最后是 SP-GMT，一个通用运动跟踪器。它将显式的稀疏目标与隐式的运动先验整合在一起，从而实现精确的全身控制。 实验结果令人振奋。无论是在仿真环境中还是在真实的人形机器人上，SP-HLM 都展示了显著的性能提升。与现有方法相比，它在运动跟踪、全身协调以及 loco-manipulation 的成功率方面均取得了更好的表现。这一框架不仅优化了高层任务策略与全身控制之间的接口，还通过稀疏姿态和潜在运动先验的结合，实现了更自然、更高效的机器人运动控制。研究团队已在项目页面上提供了额外的结果和视频，供进一步探索。SP-HLM 的出现，为人形机器人在复杂环境中的自主操作提供了新的技术路径，也为未来的机器人研究开辟了广阔的空间。

在机器人灵巧操作的领域里，长久以来存在着一个显著的空白：尽管单手操作的研究已取得进展，但现实生活中常见的双手协同行为却鲜少被触及。现有的模型大多局限于单一手部操作和有限的交互范围，难以应对真实世界中复杂的双手协调任务。这一挑战的核心在于接触丰富的双手操作数据极度稀缺，且协调双手接触点的复杂性极高，使得开发通用的双手追踪器成为一项艰巨的工程。为了解决这一痛点，研究团队推出了DONIC，这是首个跨操作类别和人类动作源联合训练的通用双手追踪器。与此同时，团队还构建了BiHOI数据集，这是一个包含1575个序列、涵盖229个物体的多视角数据集，特别强调持续性的双手交互，并将重建的交互重新定向为机器人参考轨迹。DONIC的技术架构巧妙地将近端策略优化与行为克隆结合在一个反馈循环中，该循环能够将验证成功的执行结果回收为训练演示，从而不断优化模型性能。在奖励机制设计上，系统采用了以物体为中心的单手奖励，既保持了物体运动的反馈，又根据参考接触角色对每只手进行监督。此外，通过引入“片段中心优势”机制，系统消除了依赖参考的优势偏移，同时保留了轨迹内的差异。这些设计共同作用，使得单一策略能够学习跨异构参考的协调操作。实验结果令人瞩目：无需微调，单个检查点在训练物体的未见轨迹上实现了86.79%的成功率，在留出物体上达到了57.32%的成功率。这一表现分别比最先进的手部追踪基线高出77.36和45.73个百分点。DONIC的突破不仅展示了机器人在双手协调操作上的巨大潜力，也为未来通用机器人操作系统的开发提供了新的思路。当机器人能够像人类一样自然地协调双手完成复杂任务时，我们或许正站在通用人工智能与物理世界深度融合的门槛上。

在机器人技术的演进历程中，如何让机器不仅“看见”未来，还能像人类一样灵活地“规划”与“复用”技能，一直是研究者面临的巨大挑战。现有的世界动作模型虽然赋予了机器人视觉前瞻能力，使其能够预测未来的视觉状态，但在组合式技能复用方面却显得力不从心。与此同时，代理式机器人技术通过代码规划实现了技能的复用，却往往缺乏对物理动力学的预测性基础。为了解决这一矛盾，研究团队推出了名为AW-0的代理式世界动作模型框架，旨在将基于代码的规划与联合视频及动作预测深度融合，从而构建一个更智能、更具适应性的机器人系统。 AW-0的核心创新在于其统一的混合Transformer架构。在这个架构中，代码、未来视频和机器人动作被建模为三个相互耦合的生成流。其中，代码专家负责生成参数化的技能例程和控制逻辑，而视频专家和动作专家则分别负责生成未来的视觉状态和低层级的运动指令。这种设计让代码在系统中扮演了双重角色：一方面，它在世界模型内部结构化地组织多步预测和控制过程；另一方面，它将技能表示为可复用的程序，供后续的代理式执行使用。这种机制不仅弥补了传统模型在技能复用上的短板，也为机器人提供了更坚实的物理动力学预测基础。 为了支撑这一架构，研究团队还引入了一条自动化整理流水线。该流水线能够自动为机器人和人类的视频轨迹打上对齐的程序标签，并将反复出现的例程整合成可复用的技能库。这意味着机器人不再需要从零开始学习每一个动作，而是可以从庞大的数据集中提取并复用已有的技能模块，极大地提升了学习效率。 在RoboTwin 2.0基准测试以及物理双臂操作任务中，AW-0的表现令人瞩目。与传统的视觉-语言-动作（VLA）和世界动作模型（WAM）基线相比，AW-0在任务性能上取得了显著提升。更重要的是，它在语言遵循、语义推理以及鲁棒性方面均展现出优势。这些结果有力地证明了代理式代码能够有效连接规划、预测和执行，使机器人世界动作模型变得更加智能和可靠。 AW-0的出现标志着机器人智能的一个新阶段。它不再仅仅是被动地执行指令，而是通过代码化的思维过程，主动地规划未来并复用经验。当代码逻辑与物理世界的预测完美交织，机器人或许将真正迈出从“工具”向“智能伙伴”跨越的关键一步。

在自监督学习的广阔领域中，联合嵌入预测架构（JEPA）因其独特的优势而备受青睐，但它长期面临的一个核心痛点是“表示坍缩”——即模型生成的嵌入向量可能变得毫无区分度。为了解决这一问题，LeJEPA 提出了一种基于理论支撑的分布匹配目标，通过驱动嵌入趋向各向同性高斯分布来有效防止坍缩。然而，LeJEPA 的成功建立在严格的欧氏几何假设之上，其全局目标往往无法反映特定领域的几何先验知识。例如，当研究者尝试使用等变卷积网络（equivariant CNNs）或双曲视觉 Transformer（hyperbolic ViTs）等非欧氏嵌入几何时，LeJEPA 的全局目标便显得力不从心，难以适应这些复杂的内在数据结构。 为了填补这一空白，研究团队引入了 LocaLeJEPA 框架。这一框架的灵感来源于对 LeJEPA 熵最大化特性的流形理论重构。通过引入一种名为 LocaLeReg 的新型局部欧氏分布匹配正则化器，LocaLeJEPA 实现了稳定且可扩展的实施。LocaLeReg 的关键在于它不再强求全局的欧氏几何一致性，而是允许模型在局部范围内适应数据的内在几何结构，从而更好地尊重数据本身的特性。 为了验证这一理论创新的有效性，研究团队在视觉领域进行了广泛的实验，主要基于在 ImageNet-1K 数据集上训练的模型。实验结果令人瞩目：LocaLeJEPA 在多种骨干网络架构下均显著优于 LeJEPA。具体而言，当与双曲 ViT-S/8 和等变 ResNet-50 骨干网络结合时，LocaLeJEPA 的表现尤为突出，证明了其在处理非欧氏几何结构时的强大能力。此外，即使在使用普通的欧氏 ViT-S/8 和 ViT-L/14 骨干网络时，LocaLeJEPA 依然保持了性能优势。这种优势不仅体现在 ImageNet 上的线性分类和 k-NN 分类性能上，还在一系列下游任务测试中得到了验证。 这一研究不仅展示了 LocaLeJEPA 在技术层面的突破，更揭示了其在方法论上的深远意义。LocaLeJEPA 被视为 JEPA 范式的一种原则性方法，它通过更好地尊重数据的内在几何结构，同时容纳对奇异嵌入几何的泛化，为自监督学习开辟了新路径。代码已公开，供社区进一步探索和应用。当算法不再盲目遵循单一的几何假设，而是学会倾听数据内在的几何语言时，我们或许能更深刻地理解机器如何从无序中构建秩序，从混沌中提炼意义。

在人工智能领域，语言模型的生成方式一直面临着效率与质量难以兼得的困境。传统的自回归模型虽然逻辑严密，但必须逐字生成，速度受限；而离散扩散模型虽能并行，却缺乏精细的控制工具。为了解决这一难题，研究人员推出了名为Lafa（Large flow language model）的大型流语言模型。这款模型旨在通过连续流技术，开辟一条并行生成的新路径，并在十亿参数规模上确立了有效的构建技术。 Lafa的核心创新在于其独特的架构设计。它采用分块流模型结构，在序列的前缀部分使用因果注意力机制，而在每个块内部则实施双向、异步的流处理。这种设计不仅让模型能够高效地利用预训练的自回归模型进行适配，还通过前缀缓存和分块并行解码技术，实现了极快的推理速度。研究团队在0.5B、7B和8B三个规模上训练了Lafa，且使用的数据量少于300亿个token。这一数据效率显著高于之前的扩散模型，证明了其在资源利用上的优越性。 在性能评估方面，Lafa在指令遵循、推理和编程等关键任务中表现出色。其学习到的流在质量上不仅匹配甚至超越了传统的自回归模型，而且可以被蒸馏为流图，实现单步或少数几步的快速生成。更令人瞩目的是，流训练过程不仅没有损害预训练自回归模型的能力，反而通过一种多token预测效应，保留甚至提升了这些能力。研究团队利用这一特性，设计了一种自投机解码方案，在单个模型内部验证基于流的草稿。最终，该方案在保持同等质量的前提下，实现了比自回归模型高2.54倍的吞吐量，性能优于多token预测和离散扩散方法。 Lafa的出现证明了连续流可以作为语言建模的可扩展基础。它不仅在速度上实现了突破，更在保持高质量生成的同时，展示了极高的数据效率。这一成果为未来开发更快、更可控的语言模型提供了新的范式，表明通过巧妙的架构设计，我们可以在不牺牲智能水平的前提下，大幅降低计算成本并提升响应速度。

在人工智能与图像处理的交汇点，一个长期困扰研究者的难题是如何让图像压缩既高效又“聪明”。传统的自适应图像分词器（Adaptive Image Tokenizers）虽然能根据图像复杂度动态调整压缩所需的令牌数量，但它们往往依赖像素级误差作为指导。这种“盲目”的机制在重度压缩时容易丢弃承载图像核心意义的空间结构，导致关键内容丢失。为了解决这一痛点，研究人员推出了名为GIST（Guided Image Semantic Tokenizer）的新型自适应分词器，旨在让压缩过程能够被语义保真度所引导。 GIST的核心创新在于其联合控制机制。它不再单纯依赖像素级误差，而是将像素级目标误差与语义目标误差相结合。其中，语义误差是在冻结的DINOv3编码器的特征空间中测量的。这种设计赋予了分词器“语义保护”的能力：当语义目标被固定为零时，即使放宽像素级重建目标以丢弃细节，图像所描绘的核心内容依然能被完整保留。换句话说，GIST让分词器能够“看见”并保护图像真正表达的含义，而不仅仅是像素的排列。 在ImageNet-100数据集上的受控对比实验中，GIST的表现令人瞩目。与仅受像素控制的同类模型KARL相比，GIST在每一个令牌数量级别上都实现了性能超越。具体数据显示，GIST的LPIPS指标最高降低了30%，而DreamSim指标更是大幅下降了37%。更引人注目的是，降低语义目标对LPIPS的改善效率远高于降低重建目标。平均而言，每减少一个令牌，降低语义目标带来的LPIPS降幅是降低重建目标的2倍；在低令牌数量的极端压缩场景下，这一效率优势甚至高达5倍。 这项研究揭示了一个深刻的洞察：语义保真度不仅是图像质量的衡量标准，更是自适应分词过程中极其有效的控制信号。通过引入语义引导，GIST证明了让算法理解图像内容比单纯优化像素误差更为关键。这标志着图像压缩技术正从“像素忠实”向“语义忠实”迈进，为未来在有限带宽下传输高质量、高信息量图像提供了新的技术路径。当机器开始理解图像背后的意义，压缩便不再只是数据的删减，而是智慧的提炼。

从可控视频迈向真正可玩的游戏世界，核心挑战在于持久化的世界状态、可执行的游戏规则以及低延迟交互。Matrix-Game 4.0 提出了一种将游戏执行与视觉生成分离的新一代架构，通过可执行游戏框架（executable game harness）实现这一目标。该系统由三个关键组件构成：一个轻量级游戏引擎负责维护世界状态并执行交互规则；一个多模态编码智能体（multimodal coding agent）将玩家的想法转化为游戏代码和动态场景描述；以及一个基于自回归视频模型的渲染器，将引擎渲染的低多边形代理（low-poly proxies）转化为高保真视觉画面，并依据动态描述和记忆引用进行条件生成。这一框架为视觉生成提供了连续引导，支持通过自然语言创建和修改场景及游戏玩法。渲染器在低多边形与高保真视频对齐数据对上进行训练，并被蒸馏为因果生成器，以四帧为块进行生成，仅需一至两步去噪。结合针对性的推理优化，Matrix-Game 4.0 在单张 NVIDIA RTX5090 上实现了 480p、60 FPS 的游戏体验，按键到显示的延迟仅为 112 毫秒。单步生成模式下，稳态吞吐量达到 83 FPS，峰值 GPU 内存占用为 18.2 GiB。在固定提示词条件下，稳态吞吐量在 RTX5080 上可达 67 FPS，在 RTX5070Ti 上可达 58 FPS。研究团队展示了具有引擎强制机制的可定制射击和驾驶游戏，并开源了代码、模型权重和低多边形游戏资产，以支持可玩游戏世界的研究与创作。这一突破表明，实时交互式生成式游戏世界正从概念走向工程现实，为未来沉浸式体验奠定了技术基础。

在人工智能的探索版图中，空间推理一直被视为模型理解三维世界的核心挑战。它要求模型不仅要识别物体，更要厘清物体在3D空间中的位置、相互关系以及运动轨迹。尽管近期的智能体视觉语言模型（Agentic VLMs）通过让模型主动使用3D感知工具来收集证据，而非一次性作答，从而带来了显著的性能提升，但一个尴尬的瓶颈依然存在：工具往往返回了正确的原始数据，模型却未能将其转化为正确的结论。这种“证据”与“结论”之间的鸿沟，长期阻碍着智能体能力的进一步突破。 为了解决这一痛点，研究团队推出了S-Agent 2.0。这是一款专为空间推理设计的智能体，其核心创新在于将现成的通用编码代理（General Coding Agent）与一套命令行感知工具包相结合。S-Agent 2.0的设计遵循一个核心原则：帮助视觉语言模型（VLM）闭合“证据循环”。这意味着模型不仅能获取场景证据，还能将其存储在持久的场景记忆中，并用平实的空间语言解读每一次读取结果。这种设计保留了编码代理的全部灵活性，同时确保模型处理的每一个数据都扎根于工具的几何逻辑之中，从而有效弥合了原始读数与可用结论之间的差距。 实验数据有力地证明了这一架构的有效性。在MMSI-Bench和ReVSI两大基准测试中，S-Agent 2.0的工具包显著提升了模型表现。对于强大的开源模型Qwen3.8-27B，相比无工具的同一智能体，其在MMSI-Bench和ReVSI上的得分分别提升了13.9分和20.5分。对于强大的闭源模型Gemini-3.8-Flash，提升幅度分别为11.2分和9.6分。具体来看，基于开源骨干的S-Agent 2.0在MMSI-Bench上达到了66.5分，在ReVSI上达到了82.3分，超越了同一骨干上的专用系统SpatialClaw（分别为62.6分和74.5分）。而结合Gemini-3.8-Flash时，S-Agent 2.0更是以74.1分和90.5分的成绩，大幅领先于SpatialClaw的67.0分和79.7分。 值得注意的是，随着骨干模型能力的增强，工具带来的增益通常会缩小。然而，S-Agent 2.0展现出更强的鲁棒性。在ReVSI测试中，SpatialClaw的工具增益从+13.2大幅缩水至+2.7，而S-Agent 2.0的增益依然稳定保持在+9.6。这表明S-Agent 2.0的设计更能适应不同能力水平的模型，且其优势不依赖于特定的专用架构。此外，S-Agent 2.0还展现了良好的通用性，能够跨不同的通用编码代理框架运行，如Codex和Claude Code。 这项研究揭示了一个深刻的趋势：在AI领域，通用的编码能力与专用的感知工具结合，往往能产生超越专用系统的效果。S-Agent 2.0不仅是一个性能提升的案例，更提供了一种方法论，即通过让模型“记住”并“解读”空间证据，来真正理解三维世界。当模型不再仅仅依赖直觉，而是学会像工程师一样调用工具、记录数据并逻辑推演时，空间推理的边界便被重新定义。这或许预示着，未来的智能体将不再是被动的观察者，而是主动的空间探索者。