Import AI 481:FrontierML 评测智能体用资金提升模型性能,AI 湿实验室与自我改进中的隐蔽破坏
Import AI 481 介绍了 FrontierML 基准,它用 21 个端到端机器学习任务衡量智能体把资金转化为模型性能的能力,任务提供 12 小时 CPU 沙箱和 10、50、200 美元预算。
Import AI 481 介绍了 FrontierML 基准,它用 21 个端到端机器学习任务衡量智能体把资金转化为模型性能的能力,任务提供 12 小时 CPU 沙箱和 10、50、200 美元预算。
Import AI 第 479 期介绍了 Realtime-Bench,这套基准包含 50 个交互式游戏与网页任务,用于评测模型在实时决策场景下的表现。在 wall clock 真实延迟设置下,GPT-6 Astra(high)通过率最高,为 36%;而在暂停时钟条件下,高推理模型可接近 70% 至 80%。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用任何客户数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、187 个开源仓库的 219 个 PR 评测集。