首页 / 端侧 AI · 2026-10-03
端侧 AI 周报 | 2026-10-03
覆盖窗口：2026-09-26 ~ 2026-10-03（少数条目为 9/21–9/25 的延续事件，已在条目内标注实际日期） 检索关键词：edge AI、on-device LLM、AI chip NPU、端侧大模型、quantization edge、small language model on device；另加厂商/芯片名定向检索 筛选口径：有明确时间点、可溯源原文、对端侧部署（模型 / 芯片 / 压缩 / 框架）有实质影响；纯榜单、选购向、无源转述剔除
摘要
- "端侧 30B MoE 进旗舰"从演示变成量产：华为 Mate 90 Pro Max 及以上（10/1 发布）部署 30B MoE 全模态端侧大模型，小艺 2.0 的帮记 / 图库 / 通话 / 导航条全部改为本地闭环；上一周高通的 30B-MoE 参考设计，本周由终端厂商跟进落地。
- 系统级 Agent 框架正式"取证"：荣耀 Magic9 系列（9/28 开售）全系搭载 MagicOS 11，与阿里联合的 397B 智能体大模型 + Agent Harness 框架首次商用落地，AI 从"应用级"进入 OS 调度层。
- NVIDIA 把名字印上 Windows PC 主芯片：RTX Spark（Arm CPU + Blackwell RTX，与联发科联合）10 月起上市，顶配 128GB 统一内存、分析师估 $2,899——Windows on Arm 从"够用"叙事先转向本地大模型叙事。
- AI PC 芯片再添两条线：联发科 Dimensity CX C10 Max（3nm、NPU 890 55 TOPS、Googlebook 首发）与华硕 Ascent QN10（骁龙 X2 Elite、80 TOPS NPU、$1,349 起，明确支持 OpenClaw / Hermes Agent 等 agent 框架）。
- 系统层优化成为本周学术主线：TierKV（预测式多层 KV 缓存，prefill 最高 17.6×）、OmniTide（端侧流式全模态，kernel 最高 12.72×）都指向同一瓶颈——KV 缓存而非权重。
- 离线 Agent 有了官方路径：Google Antigravity SDK 支持本地模型（Gemma 4 26B A4B 跑在 LiteRT-LM），无需 API key、可完全断网，但推荐 24GB 内存，硬件仍是门槛。
- 风险提示：多篇英文稿（如 RTX Spark 规格、各芯片对比数据）仍来自工程样片泄露或厂商自测，未经第三方复现；本报告已逐条标注。
📱 端侧模型
1. 华为 Mate 90 Pro Max 及以上部署 30B MoE 全模态端侧大模型
- 核心进展：10/1 华为发布 Mate 90 系列，其中 Pro Max 及以上机型本地部署 30B MoE 全模态端侧大模型，小艺帮记支持 50+ 应用内容同步收藏、导航条支持 30+ 类服务主动推荐、通话 2.0 支持代接来电/摘要/实时翻译、图库助手支持"一句话修图/成片"。
- 技术亮点：芯片侧同步给出端侧叙事——Pro Max 搭载"逻辑折叠韬芯片"，通过创新架构压缩关键路径时延，500 万个信号传输键合、跨 Die 传输带宽 125 TB/s；Pro Max 典藏版/RS 用麒麟 9050 Pro（整机性能 +31%），Pro 用 9035（+20%），标准版 9030（+27%），配合 HarmonyOS 7 做软硬芯云垂直整合。30B 级全模态模型放进手机，依赖的是"逻辑折叠 + 大内存"这类架构级手段，而非单纯堆 NPU TOPS。
- 链接：https://www.jfdaily.com/news/detail?id=1188352
- 日期：2026-10-01
2. Liquid AI 发布 LFM2.5-VL-DSpark：视觉语言模型的投机解码草稿器
- 核心进展：9/24 Liquid AI 为 3.1B 视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型，在不改变输出质量的前提下大幅加速解码。
- 技术亮点：草稿器仅约 2.8 亿参数，只让参数量增加 8.9%；在设备端（Apple M5 Max + MLX、M3 Ultra + llama.cpp）解码提速最高 3.13×、端到端最高 2.62×，GPU（H100 + SGLang）解码最高 2.66×。首次在 HF 上以 Safetensors/GGUF 双格式发布，day-one 支持 llama.cpp / MLX-VLM / SGLang。关键结论是 Amdahl 定律：投机解码只加速 decode，视觉编码与 prefill 不变，prefill 占比高的端侧场景收益会被摊薄。
- 链接：https://www.liquid.ai/blog/lfm2-5-vl-dspark
- 日期：2026-09-24
3. 斑马智能发布全模态端侧大模型 AutoOmni 2.0-23B-A3B
- 核心进展：9/23 云栖大会期间，斑马智能发布新一代全模态端侧大模型 AutoOmni 2.0-23B-A3B（MoE，23B 总参 / 3B 激活），并展出 AutoClaw 2.0 智舱协作实车方案。
- 技术亮点：官方称普通任务能力堪比 10 倍参数量级的云模型，复杂任务达其 80%–90%；端云一体 Agent 架构下执行模糊意图的多任务导航/车控/多媒体。工程侧数据：已与国内外 10 家芯片企业合作，软硬协同支持 8 路以上多任务并发，大模型推理加速 5–6×，量化保真度 >99%，运行内存占用减少 50%+。这是车规场景里"端侧 MoE + 量化保真"少见的量化指标披露。
- 链接：https://www.qbitai.com/2026/09/496471.html
- 日期：2026-09-23
💾 芯片 / NPU
4. NVIDIA RTX Spark：NVIDIA 首次把自研 Arm 处理器装进 Windows PC
- 核心进展：NVIDIA 与联发科联合开发的 RTX Spark（内部代号 N1X，与 DGX Spark 的 GB10 同源）将于 10 月随 OEM 整机上市，顶配为 20 核 Arm CPU + 最高 6144 CUDA 核 + 128GB 统一 LPDDR5X，ASUS ProArt P16 H7607 已在官网列出。
- 技术亮点：算力定位介于消费级与工作站之间，本地跑大模型与游戏共用同一池统一内存（延续 DGX Spark 设计）；微软在 5 月的 Windows Experience 博文中已把它与 Copilot+ PC 品牌挂钩。需注意：核心数/频率/功耗均为工程样片泄露值，NVIDIA 未公布完整规格表；$2,899（128GB）与 $1,799（32GB）为摩根士丹利分析师估算，非官方定价；100 FPS 游戏宣传依赖 DLSS 帧生成，无第三方横评。
- 链接：https://tech-insider.org/nvidia-rtx-spark-windows-arm-pc-launch-2026/
- 日期：2026-09-30（发布报道）/ 2026-10-02（跟进分析）
5. 联发科 Dimensity CX C10 Max：3nm、NPU 890 55 TOPS，Googlebook 首发
- 核心进展：联发科推出首款"AI-first 笔记本"芯片 Dimensity CX C10 Max（台积电 3nm），将首发于 Google 全新 Android 笔记本平台 Googlebook 的高端超便携机型（Googlebook 10 月上市，$899 起）。
- 技术亮点：8 核 CPU（1×Cortex-X925 + 3×Cortex-X4 + 4×Cortex-A720）、11 核 GPU、第八代 NPU 890 最高 55 TOPS，定位是本地跑 Google Gemini Intelligence 而非走云；支持 Wi-Fi 7（7.3 Gbps）、双引擎蓝牙 6.0、Imagiq 1090 ISP。独立分析指出其 CPU/GPU/NPU/L3 配置与已量产的 Kompanio Ultra 910 高度相似，主要变化是内存速率 8533→9600 MT/s，且性能对比用的是旧款骁龙 X Elite 与非对等平台——"全新架构"的宣传需打折看。
- 链接：https://world.storm.mg/articles/1167416
- 日期：2026-09-21（发布）/ 2026-09-29（第三方分析）
6. 华硕 Ascent QN10 mini PC 上市：骁龙 X2 Elite + 80 TOPS Hexagon NPU
- 核心进展：华硕推出不足 0.7L 的超小型桌面主机 Ascent QN10，搭载骁龙 X2 Elite（18 核 Oryon + Adreno GPU + 80 TOPS Hexagon NPU），16GB/512GB 售 $1,349、32GB/512GB 售 $1,699，9/17 起在美零售渠道开卖。
- 技术亮点：ASUS 明确把它定位为 agentic AI 平台，支持本地 NPU 与云端 LLM API 的混合工作流，并点名支持 OpenClaw、Hermes Agent 等 agent 框架（可通过 WhatsApp / LINE 与 agent 交互）；预置 Qualcomm AI Hub（175+ 已优化模型）与 BYOM/BYOD 流程，安全侧含 fTPM 2.0 与 Microsoft Pluton。这是"端侧 Agent 主机"从概念走向零售 SKU 的一个具体样本。
- 链接：https://diesignal.com/articles/asus-ascent-qn10-snapdragon-x2-elite-mini-pc-with-80-tops-npu-c541d805
- 日期：2026-09-17（上市）/ 2026-09-30（报道）
7. 高通为骁龙 X2 发布 Linux 开发者预览，Hexagon NPU 进入上游使能
🔧 量化与优化
8. TierKV：预测式多层 KV 缓存，移动端 prefill 吞吐最高提升 17.6×
- 核心进展：arXiv 2609.21172v2（9/29，EuroSys '27 投稿）提出面向移动端长上下文的 TierKV 框架，核心是"预测式多层缓存优化"（PMCO）。
- 技术亮点：思路是不再做"事后压缩"，而是在 decode 开始前用 prefill 隐藏态预测未来的缓存需求，把 token 联合分配到精确、低秩（SVD）、闪存卸载三层，并给出闭式解在运行时选层边界与每层秩。在 3 款移动 SoC（Adreno 750/740、Mali-G715）、8 个文本/视觉/音频模型上：prefill 吞吐较 llama.cpp 最高 1.6×、较 MNN-LLM 最高 17.6×，融合 kernel 比朴素 SVD 重建快 2.3×，预取命中率 94.4%，RAM 常驻 KV 减少 12.5%–34%（同等内存下上下文长度可延长 2.6×），精度损失极小。
- 链接：https://arxiv.org/html/2609.21172v2
- 日期：2026-09-29
9. OmniTide：端侧流式全模态推理的算法-系统协同设计
- 核心进展：arXiv 2609.34653v1（9/28，北大/北邮）提出 OmniTide，首个针对端侧"流式全模态"（边走摄像头边说话边生成）的算法-系统协同方案。
- 技术亮点：换成"unit（单次时间片内的图文音 token 集合）"抽象——OmniPick 按模态重要性做逻辑保留（音频信息密度高、优先保留），OmniPage 按保留概率物理分区并压缩存活 token，解决稀疏化后"逻辑省了、物理没省"的内存碎片问题。在 3 个流式基准、2 类消费设备上：kernel 最高加速 12.72×，流循环时延降低 2.40×，StreamingBench 精度较滑窗基线最高 +18.0 个百分点，物理 KV 跨度再降 26.7%。已在 llama.cpp-omni 上落地约 9.6K 行改动。
- 链接：https://arxiv.org/html/2609.34653v1
- 日期：2026-09-28
10. Adobe 提出 softmax 重参数化：让小模型输出头也能量化到 W4
- 核心进展：arXiv 2609.31291v2（9/28，Adobe Search/Discovery & Content AI）提出"softmax 重参数化"——在量化前，在同一 softmax 等价类里搜索一个对量化更友好的输出头代表元。
- 技术亮点：做法是每行减去词表行均值的标量倍（W_t = W − t·1μᵀ），用验证集 KL 选 t，不重训、不改 decoder，且对线性 softmax 头完全保持全精度预测等价（另给秩一修正扩展到非线性 logit 路径）。跨 7 个头、3 种量化器：W4 下 XGLM 的 RTN 测试 KL 降 93%，Phi/BLOOM/BLOOMZ 在激活加权 MSE 下降 73–77%；W2 下收益更普遍。部署侧，BF16 decoder + 打包 W4 输出头使 batch-1 生成时延降 10.8%，重参数化不损失该加速。对端侧小模型意义直接：大词表输出头是 SLM 每 token 的主要访存开销之一，此前通常被迫保留高精度。
- 链接：https://arxiv.org/html/2609.31291
- 日期：2026-09-28
🤖 端侧应用与框架
11. 荣耀 Magic9 系列：MagicOS 11 + 阿里 397B 智能体大模型，系统级 Agent Harness 首次商用
- 核心进展：9/28 荣耀 Magic9 系列开售（首批搭载 2nm 第六代骁龙 8 超级至尊版，移动 CPU 主频首次到 5 GHz），全系搭载 MagicOS 11；依托与阿里联合打造的 397B 智能体大模型，Agent Harness 框架首次在 MagicOS 11 实现商用落地。开售半小时电商全平台销量同比上代旗舰 +194%。
- 技术亮点：Agent Harness 被定义为"智能体调度框架"——YOYO 理解任务，再调度系统能力完成自主执行与主动服务，支持 40+ 种触发条件（时间/位置/应用状态/通知/网络等）；落地形态是 YOYO 记日程（自动识别散落各 App 的日程）、取件码（视觉化呈现几乎全品类快递）、YOYO 任务（周期性任务预置进系统）。配套还有专属 AI 按键与"中国移动 × 荣耀"Token 套餐（169 元/月起含 5000 万 Token）。这是国内首个把 agent 调度置于 OS 层并量产出货的案例。
- 链接：https://www.jfdaily.com/news/detail?id=1188352
- 日期：2026-09-28（发布/开售）/ 2026-10-01（报道）
12. Google Antigravity SDK 支持本地模型：Gemma 4 26B A4B 离线跑 Agent
- 核心进展：9/23 Google 为 Antigravity SDK 加入本地模型支持，开发者可在无 API key、无网络的情况下跑完整 agent 循环（模型调用 + 工具循环 + 工作上下文）。
- 技术亮点：首条优化路径是
LiteRTAgentConfig 指向 .litertlm 检查点（Gemma 4 26B A4B，25.2B 总参 / ~3.8B 激活，LiteRT 格式约 16.8 GB，256K 上下文，支持文本+图像与原生函数调用），SDK 起本地 loopback 服务承接 agent 与推理运行时；另一条 LocalOpenAIAgentConfig 可对接 Ollama / LM Studio / vLLM。支持 Apple Silicon Metal、NVIDIA CUDA 与自动探测加速后端。门槛在硬件：官方建议至少 24GB VRAM/统一内存，普通笔记本难满足；官方演示本身也是"Gemini 云端 planner + 多个本地 Gemma worker"的混合架构，而非完全替代云。 - 链接：https://www.remio.ai/post/google-antigravity-sdk-local-models-bring-agents-offline-but-hardware-sets-the-b
- 日期：2026-09-23（官方发布）/ 2026-09-24（分析）
其他短讯（未单列但值得跟踪）
- 江波龙（9/29–9/30）：公司披露端侧 AI 存储方案正与高通、AMD 等做适配，由 iSA 存储智能体 + UFS 4.1（主控来自慧忆微）支撑，模型权重可从 NAND Flash 高效加载以降低运行内存压力；mSSD 已在多家头部 PC 厂规模化商用。相比上周"与高通/阶跃合作"的表述，本周新增 AMD 适配与量产落地口径。
- Speed 3D Picbot Edge（9/30–10/1）：台湾厂商把生成式 AI 人像风格化完全搬到设备端，推理管线针对骁龙 X2 Elite 的 Hexagon NPU 优化，全程不传云；已在 L'Oréal BIG BANG、Maybelline、理肤泉等零售/品牌活动中商用。
- 皓丽 × 阶跃星辰 mini PC（9/22–9/30）：康冠科技旗下皓丽联合阶跃星辰推出首款 AI PC「小巨能 mini PC」，核心搭载阶跃 Step 5 Preview 基座模型；9/30 银河证券研报称康冠端侧 AI 布局已从"资本占坑"进入产品落地阶段，上半年创新显示研发费用同比 +50%，占整体研发约 32%。需注意"搭载旗舰基座模型"的实际本地推理形态（本地跑还是端云混合）官方未披露细节。
- Apple Foundation Models 变成协议（9/29–10/02）：iOS 27 的 Foundation Models 框架把端侧模型抽象为
LanguageModel 协议，mlx-swift-lm 的 MLXFoundationModels 可把 MLX 模型桥接进 LanguageModelSession（需 macOS/iOS 27 SDK）；同期 Core AI 模型库出现可下载/转换的端侧模型合集（chat/vision/speech/生成）。对端侧意义是"OS 级本地模型成为可插拔后端"，第三方小模型有了系统入口。 - 观点（9/28）：Northeastern 学者提出"通用云模型应转为专用端侧模型"的路线主张，认为隐私、时延与成本会推动能力下沉。属观点类，无实测数据，仅作趋势信号。
参考与筛选口径
- 检索关键词：
edge AI、on-device LLM、AI chip NPU、端侧大模型、quantization edge、small language model on device，另加 端侧AI 芯片、on-device model release、端侧 Agent 与厂商名定向检索。 - 入选标准：有明确时间点、可溯源原文，且对端侧部署（模型 / 芯片 / 压缩 / 框架）有实质影响；产品综述、榜单营销、无源转述剔除。
- 单条"日期"以原文发布日为准。9/21–9/25 的条目（联发科 C10 Max、ASUS QN10、Liquid AI DSpark、Antigravity SDK、斑马 AutoOmni）属检索窗口边缘，已在条目内标注实际日期，未计入"过去 7 天"的严格统计。
- 已排除的上周重复项（见 2026-09-26 期）：第六代骁龙 8 双旗舰、天玑 9600 Pro、江波龙/阶跃 StepEdge-Omni 30B-MoE、后摩智能 3D CIM、Quectel 模组；本周仅以"延续性更新"形式在短讯中提及。
- 数据可信度提示：NVIDIA RTX Spark 规格、MediaTek 对比基准、Qualcomm NPU 的 INT4 prefill +50% 等均为厂商自测或泄露值，无独立复现；Academic 条目（TierKV/OmniTide/Softmax）均为论文自报结果。