首页 / 端侧 AI · 2026-11-07

端侧 AI 周报 | 2026-11-07

覆盖窗口：2026-10-31 ～ 2026-11-07（过去 7 天）

摘要

本周端侧 AI 的主线是"小模型 + 专用 NPU + 全本地 Agent"三线并进：模型侧，淘宝 MNN 团队开源 0.3B 手机原生模型，iPhone 18 Pro 离线解码达 350 token/s；Qwen3.5-4B 与 SmolVLM-256M 相继登陆低成本 Axera AX650 边缘 NPU；Liquid AI 的 LFM3 系列在百元级单板机上 CPU-only 离线运行。芯片侧，Ceva/Mobilint 的 REGULUS（10 TOPS/<3W）、Nordic nRF71（Wi-Fi + NPU 单芯片，待机功耗降 20 倍）、ST 的 STM32H7P（85 GOPS 神经加速工业 MCU）密集发布，端侧算力正向"毫瓦级"与"工业级"两端延伸。优化侧，ProQuant 以量化感知训练攻克 4-bit 多模态模型精度崩塌；MediLITE-QA 验证了 4-bit 量化医疗问答模型在普通笔记本 CPU 上的可用性。应用侧，苹果把常驻音频智能塞进 watchOS 27.3 测试版，端侧 Agent 框架（Cognitum MetaLLM/ruvLLM）与手机离线图像生成应用开始落地。值得注意的是，高通 9 月发布的骁龙 8 Elite Gen 6 双旗舰与 Hexagon NPU 重构正在转化为终端产品（小米 18 Pro Max 的超级小爱 2.0 本地部署），端侧 Agent 的硬件底座已就位。

📱 端侧模型

1. 淘宝 MNN 团队开源 MNN-Pocket-0.3B，iPhone 18 Pro 离线解码 350 token/s

• 核心进展：淘宝 MNN 团队从零训练并开源约 3 亿参数的手机原生大模型，面向手机应用的任务需求与资源预算做协同优化。
• 技术亮点：INT4 部署包仅 173MB，峰值内存 <300MB；iPhone 18 Pro 完全离线平均解码约 350 token/s，iPad Pro M5 上 Prefill 8,721 token/s、Decode 466 token/s（约为 Qwen3-0.6B 的 1.63 倍）；词表由 151K 精简至 64K；附带投机解码草稿模型，最高 2.06 倍加速；IFEval-zh 得分 74.59，11 项评测均分 50.00，高于同规模及部分更大模型。
• 原文链接：https://www.todayforai.com/zh/items/art-cdbe99ca-afb
• 日期：2026-11-06

2. Qwen3.5-4B 登陆 Axera AX650 边缘 NPU，4-bit 量化跑出 12K 上下文

• 核心进展：Axera 在 Modelers.cn 发布 Qwen3.5-4B 的 GPTQ 4-bit 量化包，面向 AX650 系列低功耗边缘 AI 芯片，上下文约 12K token。
• 技术亮点：4B 级现代模型被压缩进嵌入式 LPDDR 级内存，纯端侧运行、无需云端往返；打包产物采用宽松的 MIT 许可；但模型卡基本为空，无量化质量验证、困惑度或基准数据，且锁定 Axera 硬件。
• 原文链接：https://aichina.news/blog/qwen3-5-4b-now-runs-on-axera-s-ax650-edge-npus-a-real-on-device-llm-cq2nmt/
• 日期：2026-11-06

3. SmolVLM-256M-Instruct 移植至 Axera 边缘 NPU，约 256M 参数的最小可用视觉语言模型

• 核心进展：Hugging Face 最小的 SmolVLM 检查点被移植到 Axera 边缘 NPU，图像 + 文本输入、可做问答、描述与简单文档/图表读取。
• 技术亮点：约 256M 参数，量化后内存占用可低于 1GB，适合低成本、低功耗边缘设备；但模型卡同样缺少使用说明、量化细节与基准验证，NPU 移植未见与 bf16 原版的精度对照。
• 原文链接：https://aichina.news/blog/a-tiny-vlm-for-cheap-edge-npus-smolvlm-256m-instruct-lands-on-csgjzj/
• 日期：2026-11-05

4. Liquid AI 的 LFM3 系列在百元级单板机上 CPU-only 离线运行

• 核心进展：Liquid AI 新发布的 LFM3 家族（文本、视觉、音频、全模态，约 1.7–2B 参数）在约 100 美元的单板机上无需 GPU 即可离线运行，256K 上下文，提供 GGUF 量化版本。
• 技术亮点：全套变体在一台十年旧笔记本或 4GB 单板机上 4-bit 量化运行，约 3 token/s；文本模型可做文件导航与联网研究报告、视觉模型做 OCR、音频模型做免提语音对话；但采用专有许可而非开源许可，音频模型在测试中出现幻觉。
• 原文链接：https://www.fuller-smith.co.uk/news/20261101liquidaislfm3modelsrunofflineona100singleboardcomputer/
• 日期：2026-11-01

💾 芯片/NPU

5. Ceva 与 Mobilint 推出 REGULUS 边缘 AI SoC，10 TOPS 功耗低于 3W

• 核心进展：Mobilint 的 REGULUS 边缘 AI SoC 首次量产部署 Ceva NeuPro NPU 家族（NeuPro-Nano + SensPro AI DSP），面向物理 AI 设备。
• 技术亮点：10 TOPS AI 算力、功耗 <3W、支持最高 8GB 内存，面向机器人、无人机、机器视觉、智能相机与物联网；已用于 Mobilint 的 MLD-R1 AI USB 加速器（现已出货），支持 PyTorch、ONNX、Hugging Face、TensorFlow 等主流框架。
• 原文链接：https://www.morningstar.com/news/pr-newswire/20261102sf85901/ceva-and-mobilint-advance-physical-ai-with-regulus-edge-ai-soc
• 日期：2026-11-02

6. Nordic 发布 nRF71 系列：Wi-Fi、蓝牙与边缘 AI 合一，待机功耗降 20 倍

• 核心进展：Nordic Semiconductor 发布 nRF71 系列超低功耗 SoC，把 Wi-Fi 6/6E、蓝牙 LE、Thread 与边缘 AI 集成到单芯片，面向电池供电设备。
• 技术亮点：待机功耗比上一代 nRF70 系列低 20 倍；集成 Axon NPU，机器学习推理比 256MHz Cortex-M33 快 10–17 倍，可在单芯片上跑关键词识别、异常检测与图像分类，无需外置 AI 处理器；首批 nRF7120 / nRF7120E 已向选定客户送样。
• 原文链接：https://www.morningstar.com/news/pr-newswire/20261103ln86927/nordic-brings-edge-ai-to-battery-powered-wi-fi-devices-achieving-twenty-times-lower-standby-power-with-new-nrf71-series
• 日期：2026-11-03

7. ST 发布 STM32H7P 工业 MCU，集成 85 GOPS 神经加速器

• 核心进展：意法半导体推出 STM32H7P 工业微控制器家族，520MHz Cortex-M7 搭配专用神经加速器与硬件信号处理器，面向电机驱动、光伏逆变器保护与工业传感。
• 技术亮点：Neural-ART 加速器最高 85 GOPS；官方称光伏电弧故障检测模型在 NPU 上比 CPU 软件实现快 40 倍；1 万片批量单价 4.43 美元起；工程样片已在送样，量产计划 2027 年 1 月。
• 原文链接：https://bitcoinversus.tech/2026/11/06/stm32h7p-520mhz-85-gops-neural-art-industrial-mcu-november-2026/
• 日期：2026-11-04

🔧 量化与优化

8. ProQuant：量化感知训练让 4-bit 边缘多模态模型不再精度崩塌

• 核心进展：arXiv 新论文 ProQuant 提出面向边缘多模态大模型的渐进式量化感知训练框架，解决 4-bit 权重下小模型精度断崖式下跌的问题。
• 技术亮点：关键洞见是"从训练之初就在量化约束下重训"，而非训完再量化；目标是在 2B–8B 模型上把 4-bit 量化精度保持在全精度基线的 2–3% 以内；与 10 月下旬"整数精确微缩放"（Apple M5 上高效执行 4-bit 模型）的工作互补：一个解决"4-bit 能不能训好"，一个解决"4-bit 怎么跑得快"。
• 原文链接：https://themodelwire.com/article/proquant-enables-aggressive-quantization-for-edge-multimodal-models-01M6QK1C1ZKPDKZGX57GQNDJH8
• 日期：2026-11-05

9. MediLITE-QA：4-bit 量化医疗问答模型在普通笔记本 CPU 上跑出 8.19 token/s

• 核心进展：研究者用 LoRA 微调 + 4-bit GGUF 量化把 Phi-3.5-mini-instruct（3.8B）做成医疗问答模型 MediLITE-QA，在无 GPU、无云端的消费级笔记本 CPU 上运行。
• 技术亮点：首 token 延迟 1.34 秒、8.19 token/s，九项医疗问答基准平均准确率 71.87%（量化前 72.79%，与 8B 模型 OpenBioLLM-8B 无显著差异）；7–8B 对比模型每 token CPU 能耗为其 1.56–1.98 倍；作者明确指出结果不一定能迁移到手机或单板机，临床应用前精度差距仍需缩小。
• 原文链接：https://www.mdpi.com/2071-1050/18/21/11245
• 日期：2026-11-04

🤖 端侧应用

10. 苹果 watchOS 27.3 / iOS 27.3 测试版：常驻音频智能与端侧健康评估上设备

• 核心进展：苹果在 11 月 3 日的开发者测试版中推出 watchOS 27.3 的常驻音频智能（Siri Recap 总结对话、Live Rewind 回放最近 15 秒语音）与重新设计的 iOS 27.3 健康 App（基于 Apple Watch 数据的端侧运动评估）。
• 技术亮点：推理与处理均在设备端完成，强调隐私；健康 App 扩展至全球英语、中文、法语、日语、韩语等 10 种语言；但苹果未公布这些功能的正式发布时间，也缺乏第三方验证。
• 原文链接：https://letsdatascience.com/news/topic/edge-ai
• 日期：2026-11-03

11. Cognitum One 发布 MetaLLM：端侧 Agent 群的自改进模型控制平面

• 核心进展：Cognitum One 在 2026 SEMA 展上发布 MetaLLM，面向本地企业基础设施上多 Agent 部署的模型管理与治理控制平面，配套其边缘原生推理引擎 ruvLLM。
• 技术亮点：ruvLLM 通过本地 MicroLoRA 与 SONA 自学习记忆在设备端自适应，敏感工作负载不出客户边界；MetaLLM 可在不重训的情况下原地修正边缘模型（借鉴 MIT CSAIL 11 月 2 日发表的 Weight-Space Programming 思路）；ruvLLM 已在 GitHub 开源。
• 原文链接：https://crweworld.com/article/news-provided-by-access-newswire/3945838/cognitum-one-unveils-metallm-self-improving-model-control-plane-for-ai-agent-swarms
• 日期：2026-11-03

12. 开源项目 nightmare-mobile：手机离线跑 ComfyUI 式节点图做图像视频生成

• 核心进展：开源 Android 应用 nightmare-mobile 把 ComfyUI 式节点图编辑搬到手机上，文生图与视频扩散模型全程本地离线执行，无需服务器与账号。
• 技术亮点：针对高通 Hexagon NPU 适配，宣称可运行 MiniMax H3、WAN 2.2 14B 等较大模型，兼容 SD1.5、SDXL、Flux、Qwen Image 等主流开源模型；支持局部重绘与扩图；但强依赖骁龙 NPU，非骁龙设备兼容性存疑，大模型在手机端的内存、发热与耗时仍是实际门槛。
• 原文链接：https://www.diedong.com/abrahampaulj-nightmare-mobile.html
• 日期：2026-11-04

本周观察

• "够用模型"成为端侧共识：0.3B（MNN-Pocket）、256M（SmolVLM）、1.7B（LFM3）三档小模型同周出现，厂商不再只拼参数规模，而是按"峰值内存 <300MB、解码 >200 token/s、100 次推理耗电 <1%"这类应用级预算反推模型设计。
• NPU 正在分层：毫瓦级（Nordic nRF71 的 Axon NPU）、数瓦级（REGULUS 10 TOPS/<3W）、工业 MCU 级（STM32H7P 85 GOPS）同周发布，端侧算力从手机向可穿戴、物联网与工业控制全面铺开。
• 4-bit 是本周量化关键词：ProQuant 解决"训得好"、MediLITE-QA 验证"跑得起"、MNN-Pocket 的 W4A16 QAT 落地"用得快"，低比特量化已从研究走向可交付的端侧部署路径。
• Agent 走向全本地：Perplexity Computer 的全本地 Mac 模式（10 月 20 日，刚出本周窗口）与 MetaLLM/ruvLLM 相呼应，模型 + 编排 + 执行全部上设备的"零云端" Agent 正在成为产品形态；高通 Hexagon NPU 的 Transformer 重构与 200K 上下文支持（骁龙 X2 Elite）为这类 Agent 提供了硬件底座。