首页 / 端侧 AI · 2026-10-31

端侧 AI 周报 | 2026-10-31

覆盖窗口：2026-10-24 ～ 2026-10-31

摘要

本周端侧 AI 的主线是"小模型上设备、Agent 落本地"。Liquid 一次开源 6 个 LFM3 小模型，面壁 MiniCPM-V 4.7 把 35B MoE 多模态模型塞进手机 3GB 内存；硬件侧苹果 M6 以双神经网络引擎强化本地 LLM，SECO 推出基于高通 Dragonwing 的 40 TOPS 边缘模组；工具链侧 NVIDIA TensorRT Edge-LLM 让 30B 模型在 DGX Spark 上本地跑起来，独立评测则给出了 FP8 / NVFP4 / INT4-AWQ 的选型结论：格式本身差异不大，量化配方才是关键。

📱 端侧模型

1. Liquid 开源 LFM3：6 个小模型覆盖文本、视觉、音频与全模态

• 核心进展：Liquid AI 于 10 月 27 日开源 LFM3 家族权重，6 个模型分别覆盖文本、视觉、音频、综合输入与结构化决策，面向手机、笔记本本地推理。
• 技术亮点：文本模型 LFM3-1.7B 仅 1.73B 参数，4-bit 下权重约 1GB，支持 256K 上下文、16 种语言，专为本地 Agent 工具调用与结构化输出优化；LFM3-Omni-2B 把语音识别、视觉语言、语言生成与语音合成合而为一；视频理解为新增能力。
• 日期：2026-10-27
• 原文链接：https://aipingnews.com/en/news/2105-lfm3-on-device-models

2. 面壁智能开源 MiniCPM-V 4.7：35B MoE 多模态模型跑进手机

• 核心进展：面壁智能与 OpenBMB 于 10 月 27 日开源端侧多模态模型 MiniCPM-V 4.7，含 1B 与 35B-A3B（MoE，总参数 35B、激活约 3B）两个版本。
• 技术亮点：35B-A3B 版本在 iPhone 17 Pro Max 上仅用约 3GB 内存即可跑到 13 tokens/s 以上，是首个能在端侧"无损流畅运行"的开源 MoE 多模态模型；拍照识图、实时翻译、离线问答全部本地完成；支持 iOS、Android、鸿蒙及 Intel、AMD、Arm、瑞芯微等芯片平台。
• 日期：2026-10-27
• 原文链接：https://dong.xs91.com/archives/12506.html

3. NVIDIA 发布 Nemotron 3.5 Transcribe：40 语种开源语音模型，量化版将上 RTX Spark / Jetson

• 核心进展：NVIDIA 于 10 月 28 日发布开源语音模型 Nemotron 3.5 Transcribe，单检查点同时做转录、说话人归属、翻译与音频问答。
• 技术亮点：34B 混合 MoE 架构（每 token 激活约 4.3B 参数），提供 BF16、FP8、NVFP4 三种量化权重；支持 40 语种转录、31 语种翻译、13 语种说话人分离，65K 上下文可一次处理最长 1 小时录音；官方称量化版本即将登陆 RTX Spark、DGX Spark 与 Jetson AGX Thor。
• 日期：2026-10-28
• 原文链接：https://theaipin.com/science/nvidia-nemotron-3-5-transcribe-open-speech-model-40-languages

💾 芯片 / NPU

4. 苹果发布 M6 版 MacBook Pro 与 iMac：双神经网络引擎主打本地 LLM

• 核心进展：苹果于 10 月 27 日发布搭载 M6 芯片的 14 英寸 MacBook Pro（$1,999 起）与 iMac（$1,499 起），10 月 28 日起预订、11 月 6 日发售。
• 技术亮点：M6 为 12 核 CPU + 12 核 GPU（每核内置神经网络加速器）+ 双 16 核神经网络引擎，神经网络引擎性能较 M5 提升最高 1.9 倍，端侧 AI 工作负载较 M5 快约 25%；iMac 官方口径称 LM Studio 提示处理较 M4 快最高 5 倍。
• 日期：2026-10-27
• 原文链接：https://www.apple.com/om/newsroom/2026/10/apple-introduces-the-new-14-inch-macbook-pro-with-m6/

5. SECO 推出高通 Dragonwing 边缘 AI 模组：40 TOPS，面向 Physical AI

• 核心进展：SECO 于 10 月 27 日向部分 OEM 提供 SOM-SMARC-Dragonwing-IQ8 工程样品，面向下一代边缘 AI 与 Physical AI 应用。
• 技术亮点：基于高通 Dragonwing IQ8 系列，Hexagon NPU 提供 40 TOPS 算力，支持 2.5GbE，兼容 Arduino 生态，便于开发者快速搭建边缘 AI 原型。
• 日期：2026-10-27
• 原文链接：https://wisevoter.com/world/2026/10/27/seco-releases-qualcomm-dragonwing-edge-ai-module

🔧 量化与优化

6. NVIDIA 发布 TensorRT Edge-LLM 工作流：30B 模型在 DGX Spark 上本地运行，推测解码提速约 48%

• 核心进展：NVIDIA 于 10 月 30 日给出 DGX Spark 上的端侧 AI 工作流，用轻量 C++ 推理运行时 TensorRT Edge-LLM 本地运行 Nemotron-3.5-Lightning-30B-A3B-NVFP4。
• 技术亮点：同一推理框架可从 DGX Spark 延伸到 Jetson Thor、DRIVE AGX Thor 与 IGX Thor；开启 DSpark 推测解码后，生成速度从约 73 tokens/s 提升到 105～127 tokens/s，首 token 延迟基本不变；推理峰值总内存占用 27.9GB（含系统），并可通过本地 OpenAI 兼容 API 对外提供服务。
• 日期：2026-10-30
• 原文链接：https://blockchain.news/news/nvidia-edge-ai-dgx-spark-tensorrt-edge-llm-nemotron-3-5-lightning

7. 独立评测：FP8 vs NVFP4 vs INT4-AWQ，4-bit 选型关键在配方而非格式

• 核心进展：10 月 30 日发布的独立 16 组对照评测对比了 FP8、NVFP4、INT4-AWQ 在 4 个模型上的精度与解码速度。
• 技术亮点：FP8 在全部模型上 MMLU-Pro 波动 ≤0.7 分，是默认稳妥选择；INT4-AWQ 在 Blackwell 工作站卡上 4 个模型有 3 个解码快于 NVFP4，且文件更小；NVFP4 只在 Blackwell 上的 MoE 模型占优；4-bit 精度损失几乎全部落在知识回忆（MMLU-Pro）上，数学、代码与指令遵循接近无损。结论：量化配方比数字格式更重要。
• 日期：2026-10-30
• 原文链接：https://www.beri.net/article/fp8-vs-nvfp4-vs-int4-awq-gguf-quantization-format-accuracy-throughput-2026

8. ggml v0.26.0 更新：稀疏 Flash Attention 与 NVFP4 W4A4 路径，利好端侧长上下文

• 核心进展：llama.cpp 底层张量库 ggml 的 v0.26.0 发布说明于 10 月 28 日更新，新增一批面向移动与边缘环境的推理优化。
• 技术亮点：为 SYCL、Vulkan、Metal 后端加入稀疏 Flash Attention 内核，并支持量化 KV 缓存；CUDA 新增 NVFP4/MXFP4 的 W4A4 计算路径；Hexagon（骁龙 NPU）后端新增量化类型与采样器支持，骁龙设备上的本地推理直接受益。
• 日期：2026-10-28（发布说明更新）
• 原文链接：https://localmodelwatch.tsuchitsuchi.com/en/2026/10/06/ggml-v0260-released/

🤖 端侧应用

9. AAEON 携 NVIDIA Jetson 平台亮相巴塞罗那智慧城市博览会：端侧 Agent 与实时视频分析落地

• 核心进展：AAEON 于 10 月 30 日宣布将在 11 月 3～5 日的巴塞罗那智慧城市博览会（C163 展位）做 5 场端侧 AI 现场演示。
• 技术亮点：基于 Jetson T5000 的 MAXER-5000 运行合规化端侧 Agentic 工作流；Jetson Orin NX 的 BOXER-8652AI 做实时交通视频分析；Jetson Orin Nano 的 BOXER-8621AI 做 USB 摄像头目标检测；Jetson AGX Orin 的 BOXER-8640AI 做应急检测与响应；另有搭载 Orin NX 的坚固平板展示陪伴机器人交互。
• 日期：2026-10-30
• 原文链接：https://businessnewsthisweek.com/business/aaeon-to-showcase-the-next-wave-of-edge-ai-applications-at-smart-city-expo-2026/

10. Calix 开源通信领域语言模型：8B 专家模型可下载部署到边缘网络设备

• 核心进展：Calix 于 10 月 27 日在 Hugging Face 发布可下载的 Communications Language Model，面向通信网络开发者。
• 技术亮点：基于 8B 开源权重 Llama 模型微调，注入接入网与边缘网络、Linux 及相关软硬件知识；专家知识装进模型本身后，小设备无需庞大配套系统即可运行聚焦智能；附评估框架与文档，遵循 Llama 许可。
• 日期：2026-10-27
• 原文链接：https://www.crypt0snews.com/news/2026-10-27-ai-leaves-the-chat-window-and-takes-a-job-inside-the-machine.html

11. 边缘 AI 软件市场报告：生成式 AI 正把软件需求推向设备端

• 核心进展：ResearchAndMarkets 于 10 月 21 日上架的《Edge AI Software Market》报告指出，生成式 AI 是边缘 AI 软件中增长最快的工作负载（报告发布于窗口之前、但为本周市场讨论提供了背景口径，附后供参考）。
• 技术亮点：更小的基座模型、量化、模型压缩与优化推理运行时正在让本地 AI 执行走向实用；用例从文本生成扩展到本地助手、检索增强应用、多模态系统与离线自治软件功能；设备端仍是最大份额，亚太增速最快。
• 日期：2026-10-21（窗口外背景项）
• 原文链接：https://Www.globenewswire.com/news-release/2026/10/21/3385230/28124/en/edge-ai-software-market-size-share-trends-and-global-forecast-to-2032-generative-ai-moves-to-the-device-sending-edge-ai-software-toward-120-billion.html

本周观察

1. 小模型 + MoE 是端侧主旋律：LFM3（1.7B）、MiniCPM-V 4.7（35B-A3B）、Nemotron Transcribe（30B-A4B）无一例外用 MoE 或小参数换取"设备上能跑"，激活参数才是端侧的真实成本。
2. 量化进入"配方竞争"：NVFP4 不再自动等于最优，INT4-AWQ 在稠密模型上反超，FP8 仍是精度最稳的默认项；选型要按模型结构（MoE vs 稠密）和硬件代际（Blackwell vs 更早）分开看。
3. Agent 正在从云端往设备上搬：TensorRT Edge-LLM、Jetson 端侧 Agentic 工作流、Calix 专家模型都在讲同一件事——工具调用与任务执行不必全靠云端，离线可用的 Agent 是下一阶段的竞争点。