首页 / 端侧 AI · 2026-09-26
端侧 AI 周报 | 2026-09-26
覆盖窗口：2026-09-19 ~ 2026-09-26（个别条目为 9/15–9/18 的延续性事件，已标注日期） 来源：公开检索 + 原文抓取，链接均为原文出处
摘要
- 本周是"端侧 30B 级模型落地"的分水岭：高通在骁龙峰会（9/22）联合阶跃星辰、无量火、江波龙，把 StepEdge-Omni 30B-MoE 完整部署到第六代骁龙 8 超级至尊版上，官方称运行内存需求降低超 50%，预填充吞吐超 330 tokens/s。
- 苹果用实测回击：开发者演示 iPhone 18 Pro（A20 Pro）本地跑 27B 的 1-bit 量化模型 Bonsai 27B，速度约为 A19 Pro 的两倍。
- 端侧 AI 芯片赛道开始收拢：Microchip 于 9/21 完成对 Hailo 的收购；同周 Axelera AI（2.5 亿美元+）、Euclyd（1 亿美元+）拿到大额融资。
- 超小模型进入"工具调用专精"路线：Cactus Compute 开源 Needle 3（8–29 MB，Apache-2.0），Mobile Actions 精确调用 86%，逼近云端 DeepSeek V4 Flash 的 88.4%。
- 量化底层在动：llama.cpp 收到上游化请求，要求支持 Prism 的三元/2-bit 新张量类型（PQ2_0/PTQ1_0）；SpecQuant 提出免训练的"多父量化 + 投机解码"，提速 35–43% 且精度损失 <2%。
- 产业侧的冷静判断：澎湃新闻指出端侧模型密集上新是事实，但"拐点不等于爆发"；内存成本上涨（存储占手机 BOM 30%–50%）正使 2B 级模型成为主流尺寸。
📱 端侧模型
1. A20 Pro 实测端侧跑 27B 模型，速度 2 倍于 A19 Pro
- 核心进展：开发者 Adrien Grondin 演示 iPhone 18 Pro 本地运行 27B 参数的 1-bit 量化模型 Bonsai 27B，token 生成速度约为 iPhone 17 Pro（A19 Pro）的两倍。
- 技术亮点：Bonsai 27B 采用端到端 1-bit 权重量化，体积压到约 3.9 GB（未量化需 50 GB+），可在 4 GB 内存设备上运行；A20 Pro 为双 Neural Engine（合计 32 核），6 个 CPU 核心各配独立 Neural Accelerator，支持 FP8 低精度运算。报道同时指出 2-bit 的 Bonsai 2 反而大到无法在 iPhone 18 Pro 本地运行——量化位宽与硬件适配并非线性受益。
- 链接：https://tech-insider.org/apple-a20-pro-27b-ai-model-2x-speed-2026/
- 日期：2026-09-19（演示）/ 09-20（报道）
2. 小米 18 Pro 系列发布：MiMo V2 端侧大模型进系统底层
3. Needle 3：8–29 MB 的端侧工具调用基座模型（Apache-2.0）
- 核心进展：Cactus Compute 于 9/17 开源 Needle 3，专做端侧工具调用、结构化抽取与句向量，主动放弃通用对话能力。
- 技术亮点：Laddered Simple Attention Network 架构（Monarch Hadamard MLP 替代 FFN、GQA + 因果卷积、engram n-gram 记忆），CQ2 量化到 2.125 bit/权重；2–20 层每一档都可独立部署（4 层 29M、20 层 121M）。用调用方 schema 编译的字节级 grammar 约束输出，附带校准后的置信度头，无匹配工具时返回空列表而非猜测。Mobile Actions 精确调用 86%（云端 DeepSeek V4 Flash 88.4%、Apple FM 3.0B 57.6%）；引擎 <1 MB，覆盖到 RISC-V64 / MIPSEL / WASM。
- 链接：https://ai-tldr.dev/models/needle-3/ ；https://github.com/cactus-compute/needle
- 日期：2026-09-17
4. 端侧模型密集上新：2B 成为主流尺寸，"智能密度"成新指标
- 核心进展：澎湃新闻 9/24 复盘称，vivo（9/16 发布四款蓝心大模型，预研 30B MoE 端侧模型）、面壁智能（9 月初开源 MiniCPM5-2B）、元空 AI（Boxer 系列）等密集发布，端侧 AI 正从"硬件铺路期"转向"生产力兑现期"。
- 技术亮点：面壁首席科学家肖朝军指出，存储已占手机物料成本 30%–50%（部分中低端机型达 60%），因此行业转而关注"智能密度"（单位内存/能耗能完成多少任务）；模型知识密度约每 3.3 个月翻一番。判断：2B 级模型承担系统级意图识别与任务路由，60B 以上经量化进入企业一体机/工作站，端云协同仍是主流（"本地小模型是手，云端大模型是脑子"）。
- 链接：https://www.thepaper.cn/newsDetail_forward_34134678
- 日期：2026-09-24
💾 芯片 / NPU
5. 高通第六代骁龙 8 双旗舰（2nm）+ 30B MoE 端侧落地
6. 联发科天玑 9600 Pro：首款 2nm 手机芯片，双 NPU 支持 30B MoE
- 核心进展：9/15 联发科抢在高通前一周发布天玑 9600 Pro（台积电 N2P），主打端侧 AI。
- 技术亮点：双 NPU 架构——"超性能 NPU"支持最高 30B 参数 MoE 端侧运行，prompt prefill 较上代 +51%；"超能效 NPU"配合传感器中枢，常驻感知功耗降低 40%。CPU 2+3+3 全大核（2×4.55 GHz C2-Ultra），34.5 MB 缓存，首发支持 LPDDR6 + UFS 5.0；单核 +17%、多核 +15%，峰值多核功耗省 61%。同期发布的 9600M 用台积电 3nm 面向更广旗舰。
- 链接：https://hk.investing.com/news/stock-market-news/article-1657698
- 日期：2026-09-15
7. Microchip 完成收购 Hailo，独立端侧 AI 芯片公司开始退场
- 核心进展：Microchip 于 9/21 完成对以色列边缘 AI 芯片公司 Hailo 的收购（2026-07-24 签署协议，金额未披露），Hailo 的 AI 加速器、视觉/机器人处理器与软件并入其嵌入式产品线。同周 Axelera AI 与 Euclyd 各自宣布 1 亿美元以上新融资。
- 技术亮点：JPR 的统计口径显示，AI 处理器赛道已有 181 家公司、328 款产品，初创累计融资超 300 亿美元——14 家申报 IPO、25 家被收购、2 家关停；其判断是若 Axelera、SiMa.ai、MemryX 走上同一路径，独立端侧 AI 芯片将作为一个品类消失，被并入大型半导体公司的交叉销售体系。
- 链接：https://www.jonpeddie.com/news/microchip-acquires-edge-ai-leader-hailo/
- 日期：2026-09-21（交易完成）/ 09-24（分析）
8. 后摩智能确认下代端边 AI 芯片采用 3D CIM 存算一体架构
- 核心进展：后摩智能在 2026 全球 AI 芯片峰会上确认，其下代大模型端边 AI 芯片将采用 3D CIM 存算一体架构，融合存算与 3D DRAM。
- 技术亮点：通过垂直堆叠在同等面积下实现 2 倍算力，并缓解功耗与散热压力，目标能力是"端侧超实时思考和互动"。参照其上一代后摩漫界 M50（2025-07 发布）：10 W 典型功耗、160 TOPS(INT8)/100 TFLOPS(bFP16)、48 GB 内存、153.6 GB/s 带宽，已获 150+ 产品定点。
- 链接：https://news.qq.com/rain/a/20260922A0B1GO00
- 日期：2026-09-22
9. Quectel 基于 MediaTek Genio 推出三款端侧 AI 智能模组
🔧 量化与优化
10. llama.cpp 收到"三元 / 2-bit 新张量类型"上游化请求
- 核心进展：9/18 社区提交 issue #29058，要求 llama.cpp 支持 Prism 发布的三元模型 Ternary-Bonsai-2-27B 所用的两种新 GGML 张量类型 PQ2_0（142）与 PTQ1_0（143），或至少显式报错。
- 技术亮点：PQ2_0 是 ternary g128（{-1,0,+1} + FP16 组缩放）的 2-bit 槽位，PTQ1_0 是同权重的稠密 trit 打包；两者不是上游 Q1_0(41)/Q2_0(42)。关键坑：若加载器把未知类型当 Q2_0 处理且缺少 Hadamard 激活变换，输出是"垃圾"。这意味着 1-bit/三元模型正从研究走向运行时生态，但格式碎片化已开始拖慢部署。
- 链接：https://github.com/ggml-org/llama.cpp/issues/29058
- 日期：2026-09-18
11. SpecQuant：免训练的多父量化 + 投机解码，端侧提速 35–43%
- 核心进展：arXiv 2609.21704v1（9/18）提出 SpecQuant，用一套共享权重派生 INT4/FP8/FP16 多个量化变体，按预测的查询复杂度动态路由。
- 技术亮点：不需要重训练、逐架构调参或独立草稿模型——简单/事实性任务走轻量变体，复杂推理或长上下文走全精度；共享权重设计保证投机解码的 token 接受率。在 Qwen2.5 系列上于 MMLU/AlpacaEval/GSM8K 实测提速 35–43%，精度损失不超过 2%。代码开源（GitHub: HyperKuvid-Labs/SpecQuant）。
- 链接：https://arxiv.org/html/2609.21704v1
- 日期：2026-09-18
12. 江波龙联手高通/阶跃星辰/无量火：从存储侧降低端侧 30B 的内存压力
13.（研究）HBM + 高带宽闪存的冷热分层，为 Agentic 推理扩 24 倍并发
- 核心进展：arXiv 2609.25782（9/22）针对多轮 Agent 会话"长时间空闲但必须保留上下文"的特征，把 KV 状态拆成 HBM 热集 + HBF（封装内 3D NAND）冷池。
- 技术亮点：实测在 Qwen3-Coder-30B-A3B 的 Agent 负载下 TBT 为 14 ms，恢复延迟仅增加约 0.1 ms，单 GPU 可承载的并发会话数提升 24 倍；相比全部 KV 放闪存，每 8-GPU 节点读功耗降低 7.6 kW。虽是数据中心工作，但其"冷热分层"思路对端侧长上下文内存预算同样有参考价值。
- 链接：https://arxiv.org/abs/2609.25782
- 日期：2026-09-22
🤖 端侧应用与生态
14. 本地 LLM 的开源 Agent harness 全景盘点（11 个）
15. 端侧 AI 一级市场：12 笔交易约 9.21 亿美元，机器人与边缘芯片吸金
- 核心进展：截至 9/19 的统计显示，已披露的 12 笔端侧 AI 融资合计约 9.21 亿美元，其中 FieldAI、Bedrock Robotics、Axelera AI 三笔占约 91%。
- 技术亮点：机器人与 Physical AI 至少拿走 5.84 亿美元（FieldAI 估值约 20 亿美元、Bedrock Robotics 约 17.5 亿美元）；边缘半导体以 Axelera AI 的 2.5 亿美元+ 领跑，Quadric、Mosaic SoC 显示可编程与超低功耗端侧推理芯片仍有需求；便携/分布式推理基础设施正成为独立品类（GigaIO 的行李箱级边缘系统、ElastixAI 的推理优化平台）。多数交易未披露估值，且工业买家要求的本地处理更多出于时延、可靠性、带宽与数据驻留，而非模型跑分。
- 链接：https://newmarketpitch.com/blogs/news/edge-ai-funding-news
- 日期：2026-09-19（数据截止）
其他短讯
- 9/22 联想/其他 PC 阵营的端侧叙事延续（IFA 2026 已发布的"一个个人 AI"混合架构横跨消费与企业设备），本周无新增量。
- 9/23–9/24 业界把"为 Agent 重新设计手机芯片"作为本周主线叙事：CPU/GPU/NPU 的调度与内存层级开始围绕 Agent 长会话与常驻感知重排（高通 Personal Scribe、双 Micro NPU 的传感中枢、苹果双 Neural Engine 是同一方向的不同取舍）。
- 口径提示：XDA/单纯"AI 手机排行榜"类文章本周较多，但多为综述与选购向，未纳入本报告。
参考与筛选口径
- 检索关键词：
edge AI、on-device LLM、AI chip NPU、端侧大模型、quantization edge、small language model on device，另加 端侧AI 芯片 与厂商名定向检索。 - 入选标准：有明确时间点、可溯源原文、且对端侧部署（模型/芯片/压缩/框架）有实质影响；产品综述、榜单营销、无源转述一律剔除。
- 单条"日期"以原文发布日为准，与检索日（9/26）可能相差 1–4 天。