首页 / 端侧 AI · 2026-09-12
端侧 AI 周报 | 2026-09-12
统计窗口：2026-09-05 ~ 2026-09-12。本周是端侧 AI 的"芯片周"：高通、苹果、联发科、小米、华为五家在 5 天内密集交锋，30B 级 MoE 上手机成为共同叙事；开源侧 Edge0（35B 跑进 2.5GB）和 MiniCPM5-2B（2B 超 4B）分别刷新了内存下限和越级上限。
摘要
- 最大事件：高通公布新一代 Hexagon NPU（Element Accelerator + 共享内存 +50%），官宣手机跑 30B MoE（每 token 仅激活 ~3B），完整平台 9 月 23–25 日骁龙峰会揭晓。
- 最热发布：苹果首款折叠 iPhone Duo + A20 Pro + AFM 3 代模型家族（3B 端侧 / 20B 稀疏 Advanced）+ Siri AI Beta，端侧 AI 进入"个人上下文 + 端云协同"阶段。
- 国产三线齐发：联发科天玑 9600（9-15 发布，首款 2nm Pro）、小米玄戒 O3（安兔兔破 500 万）、华为"韬定律"芯片（30B 参数进手机）。
- 开源亮点：Edge0 以 SSD expert offload 让 35B 模型跑进 2.9GB 内存（Apache-2.0）；MiniCPM5-2B 以 2.5B 参数越级打 4B 档，附 131K 原生上下文。
- 优化技术：Liquid AI 量化感知蒸馏（QAD）让 Q4_0 恢复 ~97% BF16 精度；社区把 Gemma 4 26B A4B 在 Mac 上提速 130%+。
💾 芯片/NPU
1. 高通公布新一代 Hexagon NPU：手机跑 30B 参数 MoE
- 核心进展：高通 9 月 11 日公布下一代旗舰平台的 Hexagon NPU，为终端侧智能体 AI 打造，完整平台 9 月 23–25 日骁龙峰会发布。
- 技术亮点：Element Accelerator（标量管决策编排 + 向量管高吞吐，针对 Transformer 优化，支持 Fast Action Loops / KV-Cache 加速、32K 上下文）；共享内存系统扩容 50%，KV-cache 常驻近加速器；与内存/模型厂商合作把 MoE 引入端侧——30B 模型每 token 仅激活约 3B 参数，配合闪存加载机制低功耗运行；精度支持 INT2/INT4/INT8/FP8/FP16，INT4 预填充提升最高 50%、首词元 1.5 秒。
- 原文链接：https://www.sohu.com/a/1074627656_258768 ／ https://ai.zol.com.cn/1245/12459631.html
- 日期：2026-09-11
2. 联发科天玑 9600 系列 9 月 15 日发布：首款 2nm Pro 冲击高端
- 核心进展：联发科官宣 9 月 15 日旗舰发布会，天玑 9600 标准版 + Pro 版，Pro 版预计为联发科首款 2nm 手机芯片。
- 技术亮点：延续全大核路线（爆料 2+3+3 三丛集），集成 Arm Mali G2-Ultra NX MC12 GPU；自研 Imagiq 影像 + APU 持续迭代，NeuroPilot 生态已支持 Llama、文心、通义等主流端侧模型；背景是联发科 2025 年以 34.4% 份额居全球手机 SoC 第一，但 2026Q2 移动收入环比 -14%，高端证明战关键一役。
- 原文链接：https://finance.biggo.com/news/d58385cd-ab0d-49bd-ab94-91230a7478f4
- 日期：2026-09-10（发布会 09-15）
3. 小米玄戒 O3：安兔兔破 500 万，10 核全大核 + LPDDR6
- 核心进展：小米第二代旗舰自研芯片玄戒 O3 确认 9 月首发，搭载于小米 18 Fold（IFA 2026 亮相）与 Pad 9 Pro Max，安兔兔 reportedly 突破 500 万分，Android 阵营首次。
- 技术亮点：台积电 3nm N3P，约 240 亿晶体管（~133mm²）；10 核全大核（2×C1-Ultra ~4.35GHz + 4×C1-Premium + 4×C1-Pro），砍掉小核赌持续高性能；GPU/NPU 升级并首批支持 LPDDR6；一芯带折叠屏 + 平板两条旗舰线摊薄成本。
- 原文链接：https://shattered.io/xiaomi-xring-o3-18-fold-pad-9-pro-max-2026/
- 日期：2026-09-08
4. 华为"韬定律"芯片首秀：30B 参数大模型塞进手机
- 核心进展：余承东披露基于达芬奇架构 NPU 算力跃升的新一代手机芯片，业内率先实现总计 30B 参数级大模型端侧部署。
- 技术亮点：达芬奇 NPU 端侧算力跃升 + 功耗大降是前提；CANN 工具链提供 NPU 友好低比特量化与 Ascend C 自定义算子，解决各家量化算法与精度对齐难题，是"大模型进手机"的工程底座。
- 原文链接：https://www.leidacj.com/article/179048
- 日期：2026-09-09 前后
📱 端侧模型
5. Edge0 开源：35B 模型跑进 2.5GB 内存（Apache-2.0）
- 核心进展：Samuel Zeng 创立的 Edge0 于 9 月 10 日开源运行时、推理代码与 35B/8B 预览权重，走"SSD expert offload"路线而非单纯缩小参数。
- 技术亮点：模型常驻闪存、每步只加载当步所需 expert 参数并预取下一步，类似 OS 虚拟内存 paging；35B 峰值内存 ~2.9GB（~15–18 tok/s）、8B ~1.0GB（~24–25 tok/s）；局限是当前仅支持 macOS Apple Silicon（M1–M4），CUDA/iOS 尚未交付，iPhone demo 与实际交付有差距。
- 原文链接：https://explainx.ai/blog/edge0-35b-on-device-model-apple-silicon-2026
- 日期：2026-09-10
6. MiniCPM5-2B：2B 参数越级打 4B 档，131K 原生上下文
- 核心进展：OpenBMB 发布 MiniCPM5 系列第二款 2.52B dense 模型（Llama 架构、42 层、GQA），自测 9 项能力（代码/数学/指令/工具/智能体等）超多个 4B 级对手。
- 技术亮点：原生 131K 上下文（2B 档罕见，利好代码与 agent 长轨迹）；一次释出 BF16/SFT/Base/Midtrain/GGUF/MLX 4-bit/GPTQ/LiteRT/DSpark（投机解码草稿模型）全格式；配套 UltraData 数据集开源，可复现微调。
- 原文链接：https://www.mindstudio.ai/blog/minicpm5-2b-on-device-model
- 日期：2026-09-11 前后
7. 4B 开源 VLM 在 GeoGuessr 式基准上击败 122B Qwen
🔧 量化与优化
8. Liquid AI 量化感知蒸馏（QAD）：Q4_0 恢复 ~97% BF16 精度
- 核心进展：Liquid AI 发布 LFM2.5 四档（230M/350M/1.2B/2.6B）的 QAD Q4_0 GGUF，用高精度 teacher 向量化 student 蒸馏，弥合 PTQ 精度损失。
- 技术亮点：QAD 封闭 BF16→Q4_0 落差的 48–73%（小模型回收更多），四档分别保留 97.1%/96.5%/97.4%/96.6% BF16 均分；同格式同吞吐下质量达到 Q5_K_M 水平、打平 Unsloth UD-Q4_K_XL；在 M5 Max、AMD AI Max+ 395、骁龙 8 Elite Gen 5 手机、树莓派 5 四档硬件实测 llama.cpp 解码吞吐。
- 原文链接：https://www.liquid.ai/blog/qad
- 日期：2026-08-19（本周持续被引用讨论）
9. 社区把 Gemma 4 26B A4B 在 Mac 上提速 130%+（MLX）
- 核心进展：Google 官方 Gemma 账号 9 月 1 日转发社区 mlx.fast leaderboard 成果：Gemma 4 26B A4B 在 Mac 上累计提速 130.3%（官方取整称 2x），9 月 2 日已涨过 131.9%。
- 技术亮点：88 位 solver、99 个 promoted 提交、5 天 kernel 级优化；评分 prefill^0.25·decode^0.75（decode 占 3/4）；MoE 结构 26B 总量/仅 4B 激活、128 experts top-8 路由，4-bit 约 18GB、24GB+ Mac 可跑；decode ~573 tok/s、prefill 7000+ tok/s（含 thermal cool gate）。
- 原文链接：https://explainx.ai/blog/gemma-4-26b-a4b-mlx-mac-speedup-2026
- 日期：2026-09-01~02（近两周关键优化进展）
🤖 端侧应用
10. 苹果折叠 iPhone Duo + A20 Pro + Siri AI：垂直整合的 Personal AI 样板
11. 端侧 Agent 基座三强：Qwen3-4B / Gemma 4 E4B / Phi-4-Mini（工具调用选型）
- 核心进展：Ertas 实测确立 2026 年端侧工具调用三大可信基座：Qwen3-4B-Instruct-2507（BFCL 并行调用最强）、Gemma 4 E4B（原生 function-call 特殊 token、输出方差最低）、Phi-4-Mini 3.8B（多轮规划反超、吞吐领先 15–20%）。
- 技术亮点：三者 Q4_K_M 均可跑在 6GB 手机（iPhone 14 Pro 上 30–40 tok/s 量级）；均被 2026-03 版 llama.cpp tool-call parser 支持；QLoRA（rank32/3epoch/600 例）微调后垂域 5 工具 agent 均可达可用线；附带 FunctionGemma 270M / Gemma 4 E2B 更小基座选项。
- 原文链接：https://www.ertas.ai/blog/on-device-tool-calling-2026-qwen3-gemma4-phi4
- 日期：2026 年内选型基准（叔本华注：非本周新品，列为框架参考）
一句话趋势
30B 级体验正在从"云端特权"变为"端侧标配"——高通/苹果/华为同时用 MoE 稀疏激活 + 闪存加载 + 低比特量化三件套实现；芯片厂拼内存系统（共享内存/NAND 协同/LPDDR6），模型厂拼"小而专"（2–4B 越级、VLM 窄任务超大杯）；真正的分水岭已不在参数量，而在工具调用可靠性 + 跨应用编排 + 个人上下文三层应用能力。