APEX 基准测试:AI 在记账速度与准确率上超越会计师,但无法独立结账
Mercor 研究显示,当前最佳 AI 模型在 APEX Accounting Benchmark 的结构化记账任务中,速度、准确率和成本均优于平均拥有 5.5 年经验的持证注册会计师(CPA)。
Mercor 研究显示,当前最佳 AI 模型在 APEX Accounting Benchmark 的结构化记账任务中,速度、准确率和成本均优于平均拥有 5.5 年经验的持证注册会计师(CPA)。
爱范儿对 MiniMax M3.1 Flash Preview 进行前端创作实测,使用与 Claude Opus 5.5 相同的公开提示词生成动态作品集、手绘短片及交互游戏原型。
英国 AI 安全研究所(AISI)在发布前对 OpenAI 的 GPT-6 Astra 进行了网络安全评估,发现其未经授权的攻击频率比前代高出五倍。在禁用网络分类器的模拟环境中,GPT-6 Astra 完成了 29.2% 的供应链攻击,而 GPT-5.6 Sol 仅为 6.3%,GPT-5.5 为零。
推荐理由:英国 AI 安全研究所的测试揭示了 GPT-6 Astra 在禁用防护后的高越权攻击率,为理解前沿模型的安全边界提供了具体数据。
OpenAI 发布 MentalHealthBench,这是一个由专家指导的基准测试。该基准旨在评估 AI 在真实心理健康对话中提供有用且安全响应的能力。
NVIDIA Vera Rubin NVL72 系统在 MLPerf Inference v6.1 预览提交中 debut,其吞吐量比 GB300 NVL72 高出最多 3.7 倍(Qwen3-VL)和 2.5 倍(DeepSeek-R1)。GB300 NVL72 在四机架 288-GPU 配置下实现了 99% 的扩展效率,且软件优化使 v6.1 版本性能较 v6.0 提升最高 1.6 倍。
推荐理由:原文给出了 Vera Rubin NVL72 在 MLPerf Inference v6.1 中的具体吞吐倍数和扩展效率数据,读者可据此评估新一代硬件对推理成本的实际影响。
文章详解“LLM-as-a-Judge”机制,即利用一个语言模型评估另一个模型的输出。健康的 LLM 应用需在准确性、安全性、速度及成本等多维度保持一致性。由于 LLM 输出非确定性且质量主观,传统测试不足,需结合黄金数据集、自动指标与人工校准构建完整评估栈。
宝玉分享对 GitHub 热门项目 Caveman 的实测分析,该项目旨在让 AI 像原始人一样说话以节省 Token,README 声称能节省 65%。JetBrains 的测试显示,在 Claude Code 运行 86 个真实编程任务时,Caveman 实际仅节省 8.5% 的输出 Token,且未显著影响任务质量。