跳到正文

#多模态

今日 0 条
10月3日周六
10月1日周四
  1. Google DeepMind93

    Google DeepMind 发布 Gemini 4 Argon:面向复杂工作流的前沿智能模型

    Google DeepMind 宣布推出新前沿模型 Gemini 4 Argon,该模型旨在通过深度推理支持复杂的长周期工作流,目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。

    推荐理由:原文披露了 Gemini 4 Argon 在长上下文输出、软件工程及网络安全防御上的具体基准数据与分阶段开放策略,为评估前沿模型在复杂工作流中的实际效能提供了关键参考。

9月25日周五
  1. Google DeepMind73

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将低延迟流式视频与实时对话能力结合,为 Gemini Enterprise 提供具备动态视觉化身的交互体验。

    推荐理由:原文详细说明了实时视觉化身在异步工具调用和多语言同步上的技术实现,为企业构建具备连续在场感的智能体提供了具体参考。

9月24日周四
9月23日周三
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持从自然语言提示生成自定义角色声音并逐行指导场景对话。

    推荐理由:原文给出了两款新 TTS 模型的详细能力边界、基准排名及开放入口,读者可据此评估其在创意配音与规模化部署中的实际可用性。

9月18日周五
  1. Google AI26

    Google 与设计师在纽约时装周利用 Google Flow 定制 AI 工具

    Google Envisioning Studio 联合设计师 Jane Wade 和 Sergio Hudson,基于 Google Flow 开发 Styling Suite 与 Runway Visualization 两款定制工具。前者支持数字模特虚拟造型以替代耗时三天的线下试装,后者通过模拟秀场灯光道具优化预算控制。用户可用自然语言描述需求,无需编程即可构建专属工作流。

9月16日周三
  1. NVIDIA36

    曼彻斯特大学利用 NVIDIA Earth-2 预测英国空气污染

    曼彻斯特大学团队利用 NVIDIA Earth-2 CorrDiff 模型,在 Isambard-AI 超算上仅用两天训练出覆盖全英、分辨率达 2-3 平方公里的空气污染预测模型。该工作流支持在 DGX Spark 桌面 AI 系统上进行推理与再训练,大幅降低算力门槛。团队计划开源数据与工作流,并探索结合边缘设备实现实时决策及智能体交互应用。

9月15日周二
9月3日周四
  1. Google DeepMind82

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 和 Google Research 推出 WeatherNext 3,这是其最新且最准确的全球天气 AI 模型。该模型直接学习实时卫星观测数据,提供每小时更新的高分辨率预报,地表变量分辨率达 5 公里,较上一代提升约五倍。

    推荐理由:原文详述了模型在分辨率、实时数据接入及降水预测上的具体提升,并说明了其在 Google 生态中的集成方式。

9月2日周三
8月28日周五
  1. ComfyUI Blog68

    ComfyUI 上线 Gemini Omni 1.1 Flash:支持快速视频生成、编辑及 4K 输出

    ComfyUI 通过 Partner Nodes 正式接入 Google 的 Gemini Omni 1.1 Flash 模型。该节点在单个界面中提供文本转视频、图像转视频、参考图转视频、视频编辑和场景扩展功能,支持 360p 至 4K 分辨率输出,并为每个片段自动生成音频轨道。

    推荐理由:ComfyUI 集成 Gemini Omni 1.1 Flash,支持从文本到视频及指令式编辑,最高输出 4K 分辨率并自动生成音频。

8月26日周三
8月21日周五
8月14日周五
  1. ComfyUI Blog80

    MiniMax 发布开源音乐生成模型 MiniMax Music 3

    MiniMax 发布了开源权重音乐生成模型 MiniMax Music 3,该模型已集成至 ComfyUI。它采用双语言模型混合连续合成架构,支持根据歌词和描述生成长达五分钟、结构完整的 32 kHz 立体声歌曲,并提供通过结构化标题对人声和编曲进行细粒度控制的能力。

    推荐理由:原文详细拆解了 MiniMax Music 3 的双 LLM 加 Flow Matching 架构,并提供了在 ComfyUI 中生成完整结构歌曲的具体工作流与参数控制方法。

8月12日周三
  1. Google DeepMind82

    Google DeepMind 发布 SL2T 手语翻译模型并集成至 Gboard 和 Live Transcribe

    Google DeepMind 推出大规模多语言手语转文本(SL2T)模型,首次将手语AI应用于消费级产品,支持美国手语(ASL)到英语的实时转换。该模型基于超过10万小时、涵盖50多种手语的数据训练,通过MediaPipe Holistic提取人体姿态关键点而非原始视频以保护隐私,直接输出流式文本。

    推荐理由:原文给出了SL2T模型的技术原理、隐私保护机制及在Pixel 11上的落地入口,读者可以据此判断其如何改变聋人用户的输入体验。

8月6日周四
  1. Google DeepMind90

    Google DeepMind 开源 WeatherNext 2 与 Cyclones 模型,气旋预测精度提升相当于十年气象进步

    Google DeepMind 宣布开源 WeatherNext 2 和 WeatherNext Cyclones 模型,其 Nature 论文显示该 AI 模型在气旋路径、强度和风结构预测上达到 SOTA,平均为预报员提供额外一天的预警时间,相当于过去十年的气象技术进步。

    推荐理由:WeatherNext 在气旋预测中实现相当于十年气象进步的精度提升,并开源了模型权重与代码。

8月3日周一
  1. ComfyUI Blog82

    MiniMax H3 发布并获 ComfyUI Day-0 支持

    MiniMax 发布第三代视频模型 H3,这是其首个开放权重的视频模型,已在 ComfyUI 中实现 Day-0 原生支持。该模型支持文本、图像、视频和音频输入,能生成最高 2K 分辨率、15 秒时长的视频,并同步生成原生立体声音频。通过剪枝调制权重、int8 量化及自定义内核等技术,H3 在 ComfyUI 中的显存占用降低 66%,使得 RTX 3060 等消费级 GPU 也能进行本地推理。

    推荐理由:原文说明了 H3 的开放权重特性及在 ComfyUI 中的本地推理优化细节,读者可据此评估其在消费级硬件上的实际部署可行性。

7月30日周四
  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 正式发布 Gemini Robotics ER 2,这是其最新的高阶“具身推理”模型,旨在通过视频理解、任务编排和多机器人协作提升机器人在物理世界中的实用性。

    推荐理由:新模型通过视频理解实现任务进度追踪与多机器人协作,并公开了API接入入口及基准测试数据。

  2. Google DeepMind57

    Google DeepMind 发布 Lyria 3.5 音乐生成模型并上线 Google Flow Music

    Google DeepMind 推出最新音乐生成模型 Lyria 3.5,并即日起在 Google Flow Music 中向用户开放。该模型在音乐性、歌词质量、人声表现和创作控制四个方面进行了升级,包括生成更复杂的旋律结构、提高提示词遵循度、增强人声情感表达以及允许用户更轻松地控制输出节奏和时长。

7月21日周二
7月13日周一
  1. Google DeepMind35

    Google DeepMind 推出 Gemini 驱动的 ATL Saathi 试点应用

    Google DeepMind 在印度启动 ATL Saathi 实时试点,这是一款基于 Gemini 3.5 Flash 模型的 Web 应用,旨在为 Atal Tinkering Labs 教师提供全天候规划与培训助手。该工具支持 8 种语言,利用 NotebookLM 整理课程并生成项目方案、接线图及安全指南,目前已在 100 所试点学校部署,助力将传统实验室转型为 AI 增强型发现实验室。

7月1日周三
  1. Google DeepMind78

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash 视频模型

    Google DeepMind 推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款新模型,现已在 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 上线。

    推荐理由:原文给出了两款新模型的定价、延迟指标及 API 接入方式,读者可据此评估其在高吞吐图像生成与视频编辑工作流中的实际成本效益。

6月9日周二
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3.5 Live Translate 音频模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音到语音翻译。该模型能自动检测语言并生成保留说话人语调、节奏和音高的流畅译文,通过持续生成语音而非等待说完来减少停顿。

    推荐理由:原文展示了 Gemini 3.5 Live Translate 在连续流式翻译、保留语调及多端部署上的能力变化,为开发者与企业提供了实时语音交互的新方案。

  2. Google DeepMind82

    Google DeepMind 发布 Gemma 4 12B:统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款旨在在笔记本电脑上运行的高性能多模态模型。该模型采用统一的无编码器架构,视觉和音频输入直接流入 LLM 主干,无需传统独立编码器,从而降低延迟和内存占用。

    推荐理由:原文给出了无编码器统一架构和16GB显存本地运行门槛,读者可以据此判断其在笔记本上实现多模态智能体的可行性。

6月8日周一
  1. Google DeepMind73

    Google DeepMind发布塞拉利昂AI辅助学习影响评估研究

    Google DeepMind公布了一项在塞拉利昂进行的预注册试验结果,显示使用Gemini驱动的Guided Learning工具使学生在八周内数学成绩提升0.258个标准差,相当于1.2至1.7年的典型学习进度。

    推荐理由:原文披露了塞拉利昂预注册试验的量化结果,展示了AI作为教学伙伴而非答案引擎的实际效能与行为改变。

5月18日周一
  1. Google DeepMind73

    Project Genie 新增 Street View 实景锚定功能并向 Google AI Ultra 用户开放

    Google DeepMind 在 Project Genie 中推出基于 Street View 的实景锚定能力,允许用户选择美国境内的真实地点作为生成世界的起点,并应用如“海洋世界”或“黑白电影”等风格进行创意重构。

    推荐理由:Project Genie 接入 Street View 真实影像,让 AI 生成的虚拟世界能锚定现实地点,为智能体提供更具真实感的交互环境。

  2. Google DeepMind91

    Google DeepMind 发布 Gemini Omni Flash 模型

    Google DeepMind 推出 Gemini Omni 系列首个模型 Gemini Omni Flash,支持从图像、音频、视频和文本输入生成高质量视频,并允许通过自然语言进行多轮对话式编辑。

    推荐理由:原文展示了 Gemini Omni Flash 在视频生成与对话式编辑上的能力,并明确了其在多个 Google 产品中的落地入口。

5月17日周日
5月16日周六
  1. Google DeepMind38

    Google DeepMind 与新加坡政府达成国家 AI 合作,推动医疗、教育及科研发展

    Google DeepMind 与新加坡政府启动国家 AI 合作伙伴关系,聚焦医疗、教育与科研领域。双方将部署 Gemini for Education 赋能教师,利用 AlphaFold 加速疫情研究,并开发基于 Gemma 的视障跑步助手。该合作旨在通过前沿 AI 技术提升公共服务质量,预计至 2040 年创造 33 亿新元经济价值。

  2. Google DeepMind34

    Calico 利用 Co-Scientist 推进衰老研究

    Calico Life Sciences 使用 Google DeepMind 的 Co-Scientist 模型整合衰老生物学文献,生成关于代谢调节整合应激反应(ISR)的新假设。该工具帮助研究人员从混杂数据中识别高价值科学线索,并优化实验设计以验证假设。相关实验已产生对健康与疾病具有重要意义的发现,团队计划发表结果。

  3. Google DeepMind70

    Google DeepMind 解析 WeatherNext 如何助力预测飓风 Melissa 登陆牙买加

    Google DeepMind 发布文章说明其 AI 气象模型 WeatherNext 协助美国国家飓风中心(NHC)提前五天以高置信度预测了飓风 Melissa 的增强与路径。

    推荐理由:原文通过具体案例展示了AI模型在极端天气预测中的实际效能,为理解技术如何辅助人类决策提供了清晰视角。

  4. Google DeepMind92

    Google DeepMind 发布 Gemini 3.5 Flash 模型

    Google DeepMind 发布 Gemini 3.5 系列并率先推出 3.5 Flash 模型,该模型主打智能体工作流与编码能力,已在 Terminal-Bench 2.1、GDPval-AA 和 MCP Atlas 等基准测试中超越 Gemini 3.1 Pro,输出速度比其他前沿模型快 4 倍。

    推荐理由:原文给出了新模型在智能体与编码基准上的具体分数及速度对比,读者可据此评估其实际性能表现。