跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 31 条
10月3日周六
10月1日周四
  1. The Decoder84

    Google 发布 Gemini 4 Argon:缩小与 OpenAI 和 Anthropic 差距但未确立明显领先

    Google 发布新前沿模型 Gemini 4 Argon,这是其七个月来的首个前沿模型更新。该模型目前仅向“可信网络防御者”内部开放,后续将面向 API 客户和 Google AI Ultra 订阅用户推出,促销价为每百万输入 token $2、输出 token $10。

    推荐理由:文章汇总了独立评测与官方数据,展示了该模型在智能体任务上的显著进步及极具竞争力的定价策略。

  2. Google DeepMind93

    Google DeepMind 发布 Gemini 4 Argon:面向复杂工作流的前沿智能模型

    Google DeepMind 宣布推出新前沿模型 Gemini 4 Argon,该模型旨在通过深度推理支持复杂的长周期工作流,目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。

    推荐理由:原文披露了 Gemini 4 Argon 在长上下文输出、软件工程及网络安全防御上的具体基准数据与分阶段开放策略,为评估前沿模型在复杂工作流中的实际效能提供了关键参考。

9月30日周三
  1. The Decoder84

    AMD以82亿美元收购AI世界模型初创公司World Labs

    芯片制造商AMD宣布以约82亿美元的全股票交易收购专注于空间智能的初创公司World Labs。AI先驱李飞飞将作为执行副总裁兼首席科学家加入AMD领导团队,直接向CEO苏姿丰汇报并领导前沿研究。

    推荐理由:AMD以82亿美元全股票交易收购World Labs,李飞飞将加入领导层,旨在通过空间智能模型优化硬件设计以挑战Nvidia。

9月29日周二
  1. 爱范儿78

    爱范儿实测神秘模型 Space Bunny Alpha:草图秒变网站,疑似 MiniMax 出品

    爱范儿对近期在海外 AI 圈刷屏的神秘模型 Space Bunny Alpha 进行了实测,发现其具备极强的多模态理解与 Agent 编程能力,能将粗糙草图在几分钟内转化为可交互的 3D 网站或游戏。

    推荐理由:作者通过实测验证了该匿名模型在草图转网页和3D交互中的快速交付能力,并梳理了其作为日常主力模型的潜在归属线索。

9月25日周五
  1. Google DeepMind73

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将低延迟流式视频与实时对话能力结合,为 Gemini Enterprise 提供具备动态视觉化身的交互体验。

    推荐理由:原文详细说明了实时视觉化身在异步工具调用和多语言同步上的技术实现,为企业构建具备连续在场感的智能体提供了具体参考。

9月23日周三
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持从自然语言提示生成自定义角色声音并逐行指导场景对话。

    推荐理由:原文给出了两款新 TTS 模型的详细能力边界、基准排名及开放入口,读者可据此评估其在创意配音与规模化部署中的实际可用性。

9月19日周六
  1. 宝玉的分享78

    宝玉分享用 GPT 6 Astra 制作 3D《桃花源记》的工作流与提示词

    宝玉使用 ChatGPT Pro 中的 GPT 6 Astra 生成了 3D 版《桃花源记》网页原型,并通过替换真人朗诵音频和优化工程细节完成了最终作品。他公开了用于将课文转化为交互式 3D 场景的详细提示词模板,该模板强调空间关系的真实连通性和叙事镜头的连续性。此外,他还展示了如何利用 Codex 进行文件结构优化和资源拆分,将 HTML 文件大小从 5.6 MB 缩减至约 777 KB。

    推荐理由:作者分享了利用 GPT 6 Astra 和 Codex 构建 3D 文学场景的完整工作流,并提供了可复用的详细提示词模板。

9月3日周四
  1. Google DeepMind82

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 和 Google Research 推出 WeatherNext 3,这是其最新且最准确的全球天气 AI 模型。该模型直接学习实时卫星观测数据,提供每小时更新的高分辨率预报,地表变量分辨率达 5 公里,较上一代提升约五倍。

    推荐理由:原文详述了模型在分辨率、实时数据接入及降水预测上的具体提升,并说明了其在 Google 生态中的集成方式。

9月2日周三
8月28日周五
  1. ComfyUI Blog68

    ComfyUI 上线 Gemini Omni 1.1 Flash:支持快速视频生成、编辑及 4K 输出

    ComfyUI 通过 Partner Nodes 正式接入 Google 的 Gemini Omni 1.1 Flash 模型。该节点在单个界面中提供文本转视频、图像转视频、参考图转视频、视频编辑和场景扩展功能,支持 360p 至 4K 分辨率输出,并为每个片段自动生成音频轨道。

    推荐理由:ComfyUI 集成 Gemini Omni 1.1 Flash,支持从文本到视频及指令式编辑,最高输出 4K 分辨率并自动生成音频。

8月14日周五
  1. ComfyUI Blog80

    MiniMax 发布开源音乐生成模型 MiniMax Music 3

    MiniMax 发布了开源权重音乐生成模型 MiniMax Music 3,该模型已集成至 ComfyUI。它采用双语言模型混合连续合成架构,支持根据歌词和描述生成长达五分钟、结构完整的 32 kHz 立体声歌曲,并提供通过结构化标题对人声和编曲进行细粒度控制的能力。

    推荐理由:原文详细拆解了 MiniMax Music 3 的双 LLM 加 Flow Matching 架构,并提供了在 ComfyUI 中生成完整结构歌曲的具体工作流与参数控制方法。

8月12日周三
  1. Google DeepMind82

    Google DeepMind 发布 SL2T 手语翻译模型并集成至 Gboard 和 Live Transcribe

    Google DeepMind 推出大规模多语言手语转文本(SL2T)模型,首次将手语AI应用于消费级产品,支持美国手语(ASL)到英语的实时转换。该模型基于超过10万小时、涵盖50多种手语的数据训练,通过MediaPipe Holistic提取人体姿态关键点而非原始视频以保护隐私,直接输出流式文本。

    推荐理由:原文给出了SL2T模型的技术原理、隐私保护机制及在Pixel 11上的落地入口,读者可以据此判断其如何改变聋人用户的输入体验。

8月6日周四
  1. Google DeepMind90

    Google DeepMind 开源 WeatherNext 2 与 Cyclones 模型,气旋预测精度提升相当于十年气象进步

    Google DeepMind 宣布开源 WeatherNext 2 和 WeatherNext Cyclones 模型,其 Nature 论文显示该 AI 模型在气旋路径、强度和风结构预测上达到 SOTA,平均为预报员提供额外一天的预警时间,相当于过去十年的气象技术进步。

    推荐理由:WeatherNext 在气旋预测中实现相当于十年气象进步的精度提升,并开源了模型权重与代码。

8月3日周一
  1. ComfyUI Blog82

    MiniMax H3 发布并获 ComfyUI Day-0 支持

    MiniMax 发布第三代视频模型 H3,这是其首个开放权重的视频模型,已在 ComfyUI 中实现 Day-0 原生支持。该模型支持文本、图像、视频和音频输入,能生成最高 2K 分辨率、15 秒时长的视频,并同步生成原生立体声音频。通过剪枝调制权重、int8 量化及自定义内核等技术,H3 在 ComfyUI 中的显存占用降低 66%,使得 RTX 3060 等消费级 GPU 也能进行本地推理。

    推荐理由:原文说明了 H3 的开放权重特性及在 ComfyUI 中的本地推理优化细节,读者可据此评估其在消费级硬件上的实际部署可行性。

7月30日周四
  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 正式发布 Gemini Robotics ER 2,这是其最新的高阶“具身推理”模型,旨在通过视频理解、任务编排和多机器人协作提升机器人在物理世界中的实用性。

    推荐理由:新模型通过视频理解实现任务进度追踪与多机器人协作,并公开了API接入入口及基准测试数据。

7月21日周二
7月1日周三
  1. Google DeepMind78

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash 视频模型

    Google DeepMind 推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款新模型,现已在 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 上线。

    推荐理由:原文给出了两款新模型的定价、延迟指标及 API 接入方式,读者可据此评估其在高吞吐图像生成与视频编辑工作流中的实际成本效益。