首页 / 端侧 AI · 2026-10-24

端侧 AI 周报 | 2026-10-24

报告周期： 2026-10-17 至 2026-10-24（Asia/Shanghai）

📝 摘要

本周端侧 AI 的主线是"大模型上手机"从参数竞赛转向数据搬运工程：OpenBMB 的 MiniCPM-V 4.7 用"前瞻专家调度"把 35B MoE 塞进iPhone，Recursive 的 40B MoE 编码模型（单 token 只激活 2.5B）在 M4 Pro 上跑出 125+ tok/s。芯片侧，联发科天玑 9600 Pro（2nm、双 NPU、跑 30B 端侧模型）进入 OEM 落地阶段，Google×Synaptics 的开源 Coral NPU M2 平台（Astra SL2610）在 10-20 Tech Day 正式演示。工具链上，Cider 激活量化方案和"llama.cpp 之外"的推理引擎选型讨论，说明端侧推理优化已经从单纯的权重量化进入激活量化和调度层面。

📱 端侧模型

1. MiniCPM-V 4.7：35B MoE 多模态模型完整跑上手机

• 核心进展： OpenBMB 发布 MiniCPM-V 4.7，35B 参数 MoE（每 token 激活约 3B）在 iPhone 18 Pro Max 上达到 20.5 tok/s，无需跳过任何专家。
• 技术亮点： 核心技术是 Lookahead Expert Scheduling（前瞻专家调度）：预测下一层需要的专家、在当前计算进行时从闪存预加载其权重，专家就绪即先执行，不让处理器空等；配合优化的权重布局、混合精度量化和 DSpark 推测解码。约 3GB 内存占用（iOS/Android），提供 GGUF 格式，兼容 Ollama。另有 1B 小版本，OCR/数学/视频理解在同尺寸中领先。
• 原文链接： https://www.alextech.ai/en/news/a-35-billion-parameter-multimodal-model-now-runs-on-a-smartphone/
• 日期： 2026-10-21（20.5 tok/s 为 OpenBMB 官方数据，尚未独立验证）

2. Recursive Flint：40B MoE 编码模型，M4 Pro 上 125+ tok/s 本地运行

• 核心进展： Recursive 发布面向本地编码的 Flint 模型，40B 总参数、每 token 仅激活约 2.5B，MacBook Pro（M4 Pro）上宣称超过 125 tok/s，权重 Apache 2.0 开源。
• 技术亮点： 量化方案：输出层 4-bit，离线蒸馏以 16-bit 模型为教师，NVFP4 版本在自有基准上距 16-bit 版仅 0.7 分；架构/数据/优化器由 "Eureka Machine" 自动搜索得到（从 35B/3B-active 基线演化到 40B/2.5B-active）；专用 kernel 覆盖低位投影、MoE、注意力，并有针对 M4/M5 的 Metal megakernel 融合 decode 前向；同时发布配套推理引擎 rec（支持 M4 Pro、M5 Pro/Max）。支持 llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang。
• 原文链接： https://www.testingcatalog.com/recursive-releases-flint-40b-model-for-local-coding/
• 日期： 2026-10-21

3. Salesforce xLAM-2-3b GGUF 镜像：3B 本地 Agent 工具调用模型

• 核心进展： Salesforce 的 xLAM-2-3b-fc-r（约 3B 的"大动作模型"）出现 GGUF 量化镜像，可通过 llama.cpp、Ollama、LM Studio 在笔记本本地运行，专为可靠的 function calling 而调优。
• 技术亮点： 基于 Qwen2.5-3B-Instruct，经 Salesforce APIGen-MT 训练管线和多轮 agentic 训练（v2 重点），而非单轮工具调用演示；发布时在 Berkeley Function-Calling Leaderboard（BFCL）同尺寸级别领先；Q4 量化约 2GB，笔记本友好。模型接收可用工具列表+用户请求，直接输出结构化工具调用。
• 原文链接： https://aichina.news/blog/a-3b-agent-for-your-laptop-salesforce-s-xlam-2-tool-caller-lands-on-a1zrpd/
• 日期： 2026-10-22

💾 芯片/NPU

4. 联发科天玑 9600 Pro 进入 OEM 落地：2nm 双 NPU，跑 30B 端侧模型

• 核心进展： 天玑 9600 Pro（TSMC 2nm）在 10 月中旬马德里/马来西亚发布会后进入终端落地：OPPO Find X10 Pro Max、vivo X500 系列确认首批搭载，10 月 19 日马德里发布会上 VoxNexus 现场演示了离线语音识别。
• 技术亮点： 双 NPU 架构：NPU 1090（LLM prefill 快 51%、token 生成每瓦特提升 55%）+ 第二代 Super Efficient NPU（常开 AI 任务功耗降 40%）；支持最高约 30B 参数端侧模型运行，支持 Google Gemini Nano 与 on-device AISeal 安全架构；Dimensity Agentic AI Engine 主打主动式智能体体验；CPU 2+3+3 全大核（C2-Ultra 最高 4.55GHz），多核功耗降 61%。
• 原文链接： https://soyacincau.com/2026/10/14/mediatek-dimensity-9600-series-malaysia-tech-day-oppo-vivo-flagship/
• 日期： 2026-10-13/14（区域发布），2026-10-19（马德里演示）

5. Google × Synaptics Astra SL2610：开源 Coral NPU M2，推理功耗 <6mW

• 核心进展： Google 与 Synaptics 在 10-20 Tech Day 正式演示 Astra SL2610/SL2600 系列边缘 AI 微控制器，面向可穿戴、智能眼镜和工业传感器。
• 技术亮点： 集成 Google 开源 Coral NPU "M2"（首个 Coral 向量处理器）+ Synaptics 自研 Torq NPU + Arm CPU；多模态并发处理（语音/视觉/运动/上下文传感）；平均端侧推理功耗低于 6 毫瓦，官方称比主流边缘 AI 处理器能效高约 40%（未披露对比基线）；软件栈开源（MLIR/IREE 工具链，18 个月开发），支持 Zephyr RTOS；安全目标 PSA Level 3 / CC EAL4+；三款引脚兼容 SKU（SR210/230/250，200/300/400 GOPS）。
• 原文链接： https://www.rdworldonline.com/google-teases-synaptics-edge-ai-chip-ahead-of-oct-20-launch/
• 日期： 2026-10-20（Tech Day 演示；10-14 在 Google Research@ 预热）

🔧 量化与优化

6. DeepSeek 开源 DeepInfer：华为 Ascend 950 与 Nvidia SM100 并列一级支持

• 核心进展： DeepSeek 开源其生产级推理引擎 DeepInfer，官方硬件支持矩阵把华为 Ascend 950 NPU 与 Nvidia SM100（H100/H200/Blackwell）并列为一级支持目标。
• 技术亮点： 国产 NPU 首次在主流开源推理栈的文档层面拿到与 Nvidia 同等的支持待遇（指文档/支持层级，非实测性能等价，目前无第三方 Ascend 950 vs SM100 对比基准）；对端侧/边缘的意义在于国产 NPU 推理生态的软件可用性门槛下降。
• 原文链接： https://theleadsman.uk/article-navigator-deepseek-deepinfer-huawei
• 日期： 2026-10-20

7. Cider 激活量化：端侧推理优化进入激活层面（Mano-P）

• 核心进展： Mininglamp 开源的 Cider 方案（Mano-P 仓库）为 MLX 生态带来激活量化支持，标志着端侧推理优化从"权重量化"扩展到"激活量化"。
• 技术亮点： 实测（M5 Pro、64GB、4B VLM、4516 token 上下文）：W8A8 + Cider 相对 W8A16 基线，prefill 从 2.839s 降到 2.519s（约 12.7%），decode 几乎不变（内存带宽瓶颈）；结论：视觉模型或 4K 以上长上下文场景值得上激活量化，纯文本短上下文用 MLX 标准权重量化或 llama.cpp/Metal 已足够。同期讨论指出 NPU 普遍"prefill 强、decode 弱"——读多写少的任务（如通话摘要）适合 NPU，写密集型任务仍需 decode 优化技巧。
• 原文链接： https://dev.to/mininglamp/choosing-an-on-device-inference-engine-in-2026-its-not-just-llamacpp-anymore-34ho
• 日期： 2026-10-23

🤖 端侧应用

8. VoxNexus VoxEdge/VoxSense：安卓首款低功耗全离线常开语音 AI

• 核心进展： VoxNexus 发布 VoxEdge（全离线语音识别/翻译/语音合成栈）与 VoxSense（常开环境聆听方案），12 小时连续聆听仅耗 162mAh（约 6500mAh 电池的 2.5%），音频永不上传云端。
• 技术亮点： 语音识别支持 36 种语言、翻译 103 种、语音合成 45 种，全部离线；语音识别模型仅 6500 万参数，词错误率低于大近 10 倍的开源模型；面向中低端安卓设备，按授权+SDK 集成；10 月 19 日在联发科天玑 9600 马德里发布会上现场演示西/英实时转写（无网络）。
• 原文链接： https://www.morningstar.com/news/pr-newswire/20261023ln79947/hears-everything-uploads-nothing-voxnexus-launches-androids-first-low-power-on-device-always-on-voice-artificial-intelligence-ai
• 日期： 2026-10-23

9. 实战：电话客服 Agent 真机上线的量化配方（Small AI Model 周刊）

• 核心进展： 一家运营商把电话客服 Agent 跑上手机 NPU（骁龙 8 Elite / Apple A19 Pro 实测），总结出可复制的"裁剪-重训-校准"窄任务配方，并正扩展到 8 款芯片。
• 技术亮点： 关键经验：通用 NPU 路径会失败，必须在真机上测试（一个 runtime 编译不过、另一个编译过但输出不可用）；量化模型在总分上持平，但在触发动作的子任务上掉了 12-14 分——只看总分会漏掉关键退化；把任务收窄（单一语言、单一领域、两种输出格式）是塞进 1GiB 内存预算的核心手段；NPU prefill 大胜、decode 打平，读多写少的服务更适合当前 NPU。
• 原文链接： https://smallaimodel.substack.com/p/shipped-a-call-agent-on-the-phone
• 日期： 2026-10-22

10. Hugging Face AnyLanguageModel 1.0：苹果平台本地模型一行接入

• 核心进展： Hugging Face 发布 AnyLanguageModel 1.0，Swift 开发者一行代码即可在 iOS/macOS 应用内调用本地开源模型（MLX 后端）。
• 技术亮点： 当前 Hub 上热门的可下载模型：Google Gemma 4 E2B（GGUF，Q4_0 约 3.4GB，量化感知训练）、Liquid AI LFM2.5 2.6B（GGUF，Q4_K_M 约 1.7GB）——前两者可跑上 iPhone；阿里 Qwen3.8 27B MLX 版 4-bit 约 16GB，32GB+ 内存的 Mac 可跑；路线图预告"会做决定的模型、会听的模型"。
• 原文链接： https://huggingface.co/blog/anylanguagemodel-1-0
• 日期： 2026-10-20 左右

11. Android 端侧 AI 平台转向：MediaPipe LLM Inference 进入维护模式

• 核心进展： Google 明确 MediaPipe 的 LLM Inference task 进入仅维护模式，新功能与优化全部转向 LiteRT-LM，官方要求新项目迁移。
• 技术亮点： 当前在售设备上的 Gemini Nano 三代并存：nano-v4（Pixel 11、Galaxy Z Fold8/Flip8）、nano-v3（Pixel 9/10、Galaxy S26、OnePlus 15、OPPO Find X9）、nano-v2（OnePlus 13、小米 15）；推荐接入方式为 ML Kit GenAI API（AICore 系统服务）；MediaPipe 仍保留给视觉/音频任务。开发者侧：新 LLM 功能直接上 LiteRT-LM。
• 原文链接： https://www.forasoft.com/blog/article/neural-networks-on-android-369
• 日期： 2026-10-17

🤖 端侧 AI 周报 | 来源均可追溯 | 2026年10月24日