跳到正文
原文
量子位· 十三·· 7 小时前精选AI 评分82

面壁智能开源MiniCPM-V 4.7:35B MoE模型可在iPhone上仅占3G内存流畅运行

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能与OpenBMB正式开源多模态大模型MiniCPM-V 4.7,包含35B-A3B和1B两个版本。其中35B-A3B作为系列首个MoE模型,总参数35B但每次推理仅激活3B,在iPhone 17 Pro Max上仅占用约3G内存即可实现每秒13个token以上的解码速度,支持断网运行。

推荐理由

原文展示了35B MoE模型在iPhone上仅占3G内存即可流畅运行,并提供了断网实测案例与前瞻专家调度等关键技术细节。

来源:量子位 · qbitai.com