跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

8 条精选近 30 天 6 条共收录 40 条

更新

部署工程的精选

今天11月17日周二第 1–8 条
  1. NVIDIA Blog65

    NVIDIA Vera Rubin 首次亮相 MLPerf,横扫训练基准并在 Endpoints 领先

    NVIDIA Vera Rubin 平台首次提交 MLPerf 结果,在 MLPerf Training v6.1 全部基准上均有成绩,Vera Rubin NVL72 每 GPU 性能最高达 GB300 NVL72 的 2 倍。

    推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和对比数据,可据此判断新一代平台在训练与智能体推理上的代际变化。

11月16日周一
  1. Hugging Face Blog62

    Hugging Face 将 Inference Providers 路由切换至 OpenRouter

    Hugging Face 与 OpenRouter 合作,把 Inference Providers 的语言模型请求从自建路由切换到 OpenRouter,按实时价格、速度和可靠性为每次调用选择供应商,失败时在同一请求内重试其他供应商。

    推荐理由:原文交代了路由切换后的重试、缓存与计费变化,读者可据此判断现有调用代码是否需要调整。

11月14日周六
11月13日周五
  1. Hugging Face Blog60

    llama.cpp 与 ggml 发布 v1.0.0,确立语义化版本与 API 稳定性规则

    llama.cpp 与 ggml 发布 v1.0.0,将库接口纳入语义化版本管理,此后公共 C API 的破坏性变更将以主版本号提升标示。

    推荐理由:llama.cpp 与 ggml 同步发布 v1.0.0,并明确此后以主版本号标示 API 与 ABI 不兼容变更,读者可据此判断下游集成与打包的稳定性边界。

11月5日周四
  1. Mistral AI72

    Mistral 扩展企业平台 Studio,新增托管智能体与工作流能力

    Mistral 扩展企业 AI 平台 Studio,新增托管智能体、应用、工作流能力以及企业上下文、智能体可观测性和评测功能。开发者可为智能体配置技能、沙箱与子智能体,并通过新的 Mistral MCP server 在本地测试后一条命令部署到 Studio。平台支持云端、自有 VPC 和本地部署,ABANCA、BNP Paribas、Capgemini 等客户已在生产环境使用。

    推荐理由:原文给出 Studio 新增托管智能体、工作流与可观测能力,读者可据此判断企业自建智能体的落地路径。

10月20日周二
  1. Mistral AI78

    Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型家族,包含支持 50+ 语言的转写模型 Voxtral Small Transcribe 3、支持 35+ 语言和 50+ 方言的 TTS 模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。

    推荐理由:原文给出语音智能体 SDK 与转写、TTS 模型的完整规格和定价,可据此判断实时语音工作流的落地成本。

10月15日周四
  1. Mistral AI71

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,参数量仅为此前 SOTA 的三分之二。

    推荐理由:原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟,可据此判断时间序列基础模型的选型空间。

7月29日周三
  1. Berkeley AI Research62

    K-Search 扩展 MLX 后端:把 CUDA 内核经验迁移到 Apple Silicon

    Berkeley AI Research 发布研究,为 K-Search 演化式内核搜索框架新增 MLX 后端,并设计结构化的 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库被改写为 Apple Silicon 内核。

    推荐理由:读者可以看到 CUDA 内核经验如何被结构化迁移到 Apple Silicon,以及翻译层对性能提升的具体贡献。