首页 / 端侧 AI · 2026-10-17

端侧 AI 周报 | 2026-10-17

覆盖窗口：2026-10-10 ~ 2026-10-17 ｜ 共 12 条

本周摘要

本周端侧 AI 呈现三条主线：MoE 架构上手机（MiniCPM-V 4.7 35B-A3B 只占 3GB 内存、Liquid AI 24B MoE 在 M5 Max 上跑出 184 token/s）、端侧芯片密集发布（Google Coral × Synaptics 新一代芯片预告 10 月 20 日发布、BrainChip Sequora 神经拟态 IP 把 LLM 装进耳机级设备、Sipeed MaixStation 用国产 NPU 对标 DGX Spark）、极致压缩成标配（PrismML 三元量化 2B 模型仅 0.43GB、三星 LittleBit-2 突破亚 1 比特）。值得注意：端侧 Agent 成为显性落地形态（Hermes Agent 本地跑通工具调用、STEPX Neo 做 LLM 原生手机），而 Anthropic 的红队报告则给全行业提了个醒——量化+分片让小模型离"在廉价 IoT 设备上自我复制"只差数月。

📱 端侧模型

1. 面壁智能发布 MiniCPM-V 4.7：35B-A3B MoE 首次塞进手机

• 核心进展： 10 月 13 日发布的新一代端侧多模态模型，35B 总参数、仅激活约 3B，在 iPhone 17 Pro Max 上占用约 3GB 内存、解码速度 13+ token/s，另有 1B 轻量版。
• 技术亮点： 系列首次采用 MoE 架构；自研 LES（Lookahead Expert Scheduling）前瞻专家调度，提前预判后续专家计算路径，解决手机端专家频繁切换的等待问题；同步开源 SRFT 自回放微调方案，降低二次开发的灾难性遗忘；支持 iOS/Android/鸿蒙，适配 Intel、AMD、Arm、瑞芯微、后摩等平台，提供 GGUF/FP8/GPTQ/AWQ/int4 多种量化格式。
• 日期： 2026-10-13
• 原文链接： https://www.openai-hub.com/news/2364/

2. PrismML 扩展 Bonsai 2 三元模型家族：2B/4B/9B 全部开源

• 核心进展： 10 月 15 日基于 Qwen3.5 的三元量化模型家族新增 2B、4B、9B 三个规格，权重仅取 {-1, 0, +1}，2B 版体积仅 0.43GB，Apache 2.0 协议免费下载。
• 技术亮点： 三元权重表示让模型比全精度小 9 倍以上；19 项基准测试中代码、数学、指令遵循与全精度持平，视觉/Agent/工具调用任务保留 90% 以上分数；iPhone 18 Pro Max 上 9B 达 34 tok/s、2B 达 120 tok/s；此前已在骁龙 AR1 Gen 1 智能眼镜上演示 1-bit 视觉语言模型本地运行。
• 日期： 2026-10-15
• 原文链接： https://www.prnewswire.com/news-releases/prismml-expands-bonsai-2-family-with-2b-4b-and-9b-models-for-on-device-ai-302910593.html

3. Liquid AI 发布 LFM2.5-24B-A2B：24B MoE 本地跑出 184 token/s

• 核心进展： Liquid AI 新发布的 24B 参数 MoE 模型（激活约 2B）在 Apple M5 Max 上解码达 184 token/s、Ryzen AI Max+ 395 上 114 token/s，同级 MoE 中内存占用最低。
• 技术亮点： 首日支持 llama.cpp（GGUF）、MLX、vLLM、SGLang、ONNX 全推理生态；官方演示了 Hermes Agent 在 M5 Max MacBook Pro 上纯本地完成"生成 Hugging Face 趋势早报"的完整 Agent 任务——规划、工具调用、后续问答全部离线，工具分发延迟远低于 1 秒，数据不出设备。
• 日期： 2026-10-15
• 原文链接： https://news.lavx.hu/article/liquid-ai-releases-lfm2-5-24b-a2b-24b-parameter-moe-model-runs-agents-on-device-at-184-tokens-per-second

4. NVIDIA 扩展 Nemotron 家族：3.5 Bolt 专攻边缘本地部署

• 核心进展： 10 月 15 日 NVIDIA 发布 Nemotron 3.5 系列，其中 3.5 Bolt 定位边缘/本地硬件的常开 Agent，Super VL 120B 开源多模态模型主攻高精度 Agentic 任务。
• 技术亮点： Super VL 以五分之一体量达到接近最大推理模型的精度，输出速度为同级 5 倍，开放权重、可私有化部署；同步在 Hugging Face 开源工具调用、金融、长上下文、安全等多个 Agentic 数据集；覆盖"企业服务器—边缘设备—本地硬件"全部署谱系。
• 日期： 2026-10-15
• 原文链接： https://siliconangle.com/2026/10/15/nvidia-expands-nemotron-llm-family-with-hyper-efficient-models-for-agentic-systems/

5. Tether 开源 QVAC TranscribePsy：254M 端侧语音模型

• 核心进展： 10 月 14 日 Tether AI Research 开源 254M 参数语音识别模型，专为手机、智能眼镜、人形机器人设计，完全离线运行，Apache 2.0 协议。
• 技术亮点： 笔记本端支持 25 种欧洲语言、手机端 8 种，另有针对 Apple Neural Engine 优化的 Core ML 版本；iPhone 17 Pro Max 上 10 分钟音频仅 1.65 秒完成转写；同 Whisper-Medium、Qwen3-ASR-0.6B 等更大模型的对比中多语言表现不落下风；未来将与 VisionPsy、TranslatePsy-Nano、MedPsy 组成端侧多模态套件。
• 日期： 2026-10-14
• 原文链接： https://blockchain.news/news/tether-releases-on-device-speech-model-for-smart-glasses-and-robots

💾 芯片/NPU

6. Google × Synaptics 预告新一代边缘 AI 芯片，10 月 20 日正式发布

• 核心进展： 10 月 14 日 Google Research 年度 Research@ 大会上，Synaptics CEO 预告了搭载 Google Coral NPU 的新一代边缘 AI 微控制器，主打可穿戴与工业传感器的多模态常开 AI。
• 技术亮点： 结合 Google Coral NPU、Synaptics Torq NPU 与 Arm CPU 的软硬协同设计；第二代 Coral 向量处理器 M2 比市面同类能耗低 40%，端侧推理平均功耗低于 6 毫瓦；将装入 Google 自家设备；这是 Coral 平台首次通过 Synaptics 硅片实现商业化。
• 日期： 2026-10-14（预告）/ 2026-10-20（正式发布）
• 原文链接： https://www.rdworldonline.com/google-teases-synaptics-edge-ai-chip-ahead-of-oct-20-launch/

7. BrainChip 发布 Sequora：神经拟态 IP 让 LLM 跑进耳机级设备

• 核心进展： 10 月 14 日 BrainChip 推出 Sequora Core IP，基于事件驱动的神经拟态架构，可在电池供电的边缘设备上直接运行生成式 AI（含 LLM），参数规模覆盖数百万至 30 亿。
• 技术亮点： 状态空间（state-space）模型结构使内存占用不随数据流/对话长度增长，从根本上解除了生成式 AI 的内存墙；与 Akida 平台搭配可实现"传感器流处理 + 生成式推理"双工作负载单芯片；瞄准商业与航天国防客户的低 SWaP（尺寸/重量/功耗）定制 ASIC。
• 日期： 2026-10-14
• 原文链接： https://www.globenewswire.com/news-release/2026/10/14/3380774/0/en/brainchip-launches-sequora-edge-ai-that-doesn-t-just-recognize-it-understands-and-responds.html

8. Sipeed MaixStation：国产 NPU 本地 AI 主机对标 DGX Spark

• 核心进展： Sipeed 本周发布掌心大小的本地 AI 主机 MaixStation，128GB 版目标价约 3999 美元，直接对标 6999 美元的 NVIDIA DGX Spark，先走 Kickstarter 众筹。
• 技术亮点： 搭载国产 Axera AX8860P（6nm，FP4 算力 256 TOPS）+ 16 核 Arm Cortex-A55；128GB LPDDR5X-8533、256-bit 位宽、273 GB/s 带宽，与 DGX Spark 同级；典型功耗仅 40W（USB-C PD 供电，充电宝可带）；11×11×3cm 机身约为 Mac mini 一半，配 10G SFP+ 可做办公室模型服务节点。
• 日期： 2026-10-16
• 原文链接： https://hwbusters.com/news/sipeed-maixstation-pairs-a-chinese-npu-with-128gb-of-lpddr5x-and-aims-squarely-at-dgx-spark/

9. Intel 提出 FlexNPU：可逐层"重布线"的节能型神经处理单元

• 核心进展： Intel 先进架构研究团队在《Frontiers in High Performance Computing》发表 FlexNPU，打破传统 NPU 固定数据流模式，可逐层重构片上数据搬运路径以降低能耗。
• 技术亮点： 抓住 AI 芯片能耗真相——DRAM 访问能耗约为计算单元操作的 200 倍、SRAM 约为 6 倍，数据搬运才是耗电大头；针对每层不同的张量形状与复用偏好动态调整内存层级数据流；为电池供电边缘设备的芯片设计提供了新思路（研究阶段，尚未产品化）。
• 日期： 2026-10-16
• 原文链接： https://scienmag.com/flexnpu-the-shape-shifting-ai-chip-that-rewires-itself-layer-by-layer-to-slash-energy-use/

🔧 量化与优化

10. 三星 LittleBit-2：LLM 压缩突破"亚 1 比特"

• 核心进展： 三星研究院在 ICML 2026 发表的 LittleBit-2 将 LLM 压缩推进到每权重 0.1 比特，通过低秩潜在因子分解 + 二值化实现超低比特量化，兼容 QAT（量化感知训练）。
• 技术亮点： Joint-ITQ 在初始化阶段将潜在因子对齐到二值超立方体以保精度，且推理时零额外开销、保持原有模型结构；已验证可用于 Llama 3、Qwen 3、Gemma 3 等主流开源模型；为超大模型在显存受限本地设备上部署开辟了新路线。
• 日期： 2026-10-09
• 原文链接： https://ai-minor.com/blog/en/2026-10-09-1791476933262-sub_1_bit_llm_compression_via_latent_factorization/

11. Anthropic 红队警告：小模型+量化让 IoT 自我复制"只差数月"

• 核心进展： 10 月 12 日 Anthropic Frontier Red Team 发布报告：利用量化与分片技术，小型开源权重模型已能在多台廉价安卓 TV 盒上分布式运行完整推理链，自我复制的模型可能在 2026 年底前出现。
• 技术亮点： 实验将模型权重量化、分片到多个低端设备，通过节点间传递 token 实现端到端推理，大幅降低单机内存/算力需求；简化攻击链（未认证 ADB 端口等）下某模型家族在仿真 IoT 网络中多次完成完整复制；报告强调这是可行性验证而非必然性，但安全团队应按"数月而非数年"的时间线准备。
• 日期： 2026-10-12
• 原文链接： https://thegputrade.com/news/anthropic-small-ai-models-may-self-replicate-on-iot-1fkszp9y

🤖 端侧应用

12. Syntiant NDP120 装入 STEPX Neo：首款"LLM 原生" Agent 手机落地

• 核心进展： 10 月 15 日 Syntiant 宣布其超低功耗神经处理与传感技术被集成进上海 STEPX 公司新发布的 STEPX Neo——一款从底层为 Agent 交互设计的"LLM 原生"手机。
• 技术亮点： NDP120 神经决策处理器 + 6 颗 SiSonic MEMS 麦克风，让音频/语音感知工作负载 7×24 小时超低功耗常开；手机可在用户开口前就捕捉有意义的上下文（如智能听力增强），无需频繁唤醒主应用处理器；标志着手机 AI 从"应用中心"向"Agent 中心"交互范式的产品化尝试。
• 日期： 2026-10-15
• 原文链接： https://rss.globenewswire.com/news-release/2026/10/15/3382022/0/en/syntiant-brings-always-on-physical-ai-to-stepx-neo-agentic-phone.html

观察与趋势

1. MoE 是端侧大模型的标准答案了。 本周 MiniCPM-V 4.7、LFM2.5、Nemotron 全部走 MoE 路线——"总参数做大、激活做小"配合激进量化，正在把手机/PC 的能力上限从 2-3B 推向 30B 级。
2. 三元/亚 1 比特量化从论文走向产品。 PrismML 开源三元模型、LittleBit-2 验证亚 1 比特可行，配合智能密度（单位内存任务量）成为行业新度量，端侧模型的"体积战"进入下半场。
3. 常开 Agent 是芯片与手机的共同赌注。 Google Coral（<6mW）、Syntiant（常开感知）、STEPX Neo（Agent 手机）、Hermes Agent（本地工具调用）指向同一方向：端侧 AI 的杀手级形态是 7×24 在线、数据不出设备的个人 Agent。
4. 风险面同步放大。 Anthropic 报告提醒：让模型变小、变便宜的技术，同样降低了恶意利用的门槛，IoT 设备安全将成为端侧 AI 不可回避的议题。