清华与智谱论文披露 GLM-Omni，统一视觉理解与图像生成

GLM-Omni 论文：模型会“画”出的知识为何说不出来

• 清华大学与智谱联合论文披露 GLM-Omni，唐杰为通讯作者；论文未说明它与 GLM-5.5 的对应关系
• 研究者用虚构世界 MagicWorld 构造 7 类、350 条知识、8552 组训练样本，让知识只从图像进入模型
• 经图像生成训练后，GLM-Omni 平均视觉正确率 54.00%，纯文字回答仅 14.57%；球衣号码画对 72%，文字答对仅 2%
• 图文交错对齐把 GLM-Omni 文字正确率从 12.57% 提到 26.86%；屏蔽图像损失后跌回 13.71%
• Visual CoT 先生成图再作答，GLM-Omni 平均正确率升至 41.14%，但书名任务仍无改善

这篇论文关注统一多模态模型的一个瓶颈：模型通过图像生成训练学到的知识，能否被语言推理调用。GLM-Omni 从 GLM-4.1V-Thinking 预训练模型出发，接入基于 X-Omni 的离散图像 Tokenizer；对照组还有把理解与生成放在相对独立专家分支的 BAGEL，以及直接建模像素的 SenseNova-U1。

为排除模型原有记忆，研究者搭建了虚构世界，例如虚构球衣 Arvenbrock 的号码 10 只出现在目标图像里，训练后再用文字提问。结果三种模型都“会画不会说”：BAGEL 视觉与文字正确率为 31.43% 和 8.86%，SenseNova-U1 为 61.14% 和 20.00%，后者号码任务视觉 88%、文字 0%。

研究依次尝试三种办法。文本对齐给一半实体补文字问答示例，形状、大小等有可迁移规则的属性受益，号码和书名仍为 0%，GLM-Omni 平均值反而从 14.57% 降到 12.57%。图文交错对齐让模型在同一条序列里先画再答，测试时仍只允许文字回答，GLM-Omni 形状任务从 12% 升至 64%、空间排列从 0% 升至 40%，但部分颜色和数量任务回落；消融说明提升确实来自图像重建信号。Visual CoT 允许推理时生成图像再读取，数字任务从 0% 分别升到 4%、36% 和 20%，代价是额外计算，且图像出错会带偏答案。文章指出，实验知识来自受控虚构世界，在真实场景中的效果仍待检验。

基于原文整理的中文深读，细节以原文为准。