跳到正文
原文
Google DeepMind·· 19 小时前精选AI 评分70

Google DeepMind 发布 Genie 4 世界模型

Genie 4: A new generation of world simulation

AI 导读

Google DeepMind 发布新一代世界模型 Genie 4,显著提升真实感与实时交互模拟,原生多模态,可与世界同步生成音乐、环境音和对话;它基于 Gemini 系列能力,由 Gemini Omni 锚定真实外观与行为,其他 Gemini 模型负责保持模拟的连贯推理。

推荐理由

官方说明了 Genie 4 与 Gemini 的分工和新增的原生音频能力,是判断世界模型进展的一手材料。

深度解读

Genie 4:可实时交互、原生出声的世界模型

  • 原生多模态:世界画面与音乐、环境音、对话同步生成,是 DeepMind 首个原生生成音频的实时世界模型
  • 可用自然语言实时改天气、移镜头、加入人物或物体,Gemini 会按场景上下文调整提示并在输入间隙引导场景
  • Gemini 3.8 Flash 作为环内引导智能体,拆解目标、逐帧核验步骤;还与 Gemini 4 Argon 结合模拟 Apptronik Apollo 人形机器人下跳棋
  • 目前以研究预览向受信测试者开放,之后先面向 Project Genie 中的 Google AI Ultra 订阅用户及 Gemini API、AI Studio 早期合作方

Google DeepMind 发布新一代世界模型 Genie 4,官方称其带来前所未有的真实感,并改进了实时交互模拟。Genie 4 建立在 Gemini 系列能力之上:Gemini Omni 负责把模拟锚定在真实世界的外观与行为上,其他 Gemini 模型提供保持模拟连贯所需的复杂推理。用户可以触发一个事件,由 Genie 4 模拟接下来世界如何响应、听起来如何、其中的人如何移动、反应和说话。

官方列出四项关键能力。一是实时塑造模拟,用标准键盘导航和控制镜头,用文字提示改变场景;二是物理与人体动作的真实感,可模拟空气动力学、碰撞等场景,最显著的进步在于人物的自然运动与可实时操控;三是声音建模,每个世界都带有自身环境音,并支持随输入即时变化的互动对话;四是借助 Gemini 模拟复杂事件,Gemini 3.8 Flash 在环中持续观察画面、把目标拆成步骤并核验每步是否完成,世界变化或用户干预时随时调整计划。

DeepMind 表示 Genie 4 仍是早期实验模型,已与创意、新闻、教育、游戏和工程领域的受信测试者合作:电影人把它当作预演的“草稿模式”,摄影记者尝试把单张历史照片变成可进入的模拟环境,游戏开发者在写引擎代码前快速做出可探索原型,企业伙伴评估其用于场景生成。官方认为未来方向是把代码与语言模型的结构化推理和像素级模拟结合的混合世界模型。

基于原文整理的中文深读,细节以原文为准。

来源:Google DeepMind · deepmind.google