首页 / 端侧 AI · 2026-10-10
端侧 AI 周报 | 2026-10-10
覆盖窗口：2026-10-03 ~ 2026-10-10（个别条目为 10/2 的窗口边缘事件，已在条目内标注实际日期） 检索关键词：edge AI、on-device LLM、AI chip NPU、端侧大模型、quantization edge、small language model on device；另加微软/英伟达/谷歌/联发科/高通/DEEPX 等厂商与芯片名定向检索 筛选口径：有明确时间点、可溯源原文，对端侧部署（模型 / 芯片 / 压缩 / 框架）有实质影响；纯榜单、选购向、无源转述剔除
摘要
- Windows 进入"智能体 PC"时间表：10/7 微软 × 英伟达旧金山联合活动落定 RTX Spark 上市节奏——笔电预订开启、10/16 开卖（紧凑桌面 11 月），首发旗舰 Surface Laptop Ultra 最高 128GB 统一内存、约 1 PFLOP AI 算力；微软宣布 MXC 智能体执行容器 GA，GitHub Copilot 月底起自动在端侧/云端模型间编排任务。
- 本地也能跑 137B 编码模型：微软把 MAI Code 1.1 Flash（总参 137B / 激活 6.8B MoE）以量化 + 投机解码搬上 Windows 本地供 Copilot 调用；代价是硬件门槛——官方演示机为 128GB 统一内存的 Surface Laptop Ultra。
- 端侧检索进入多模态：Google 发布 EmbeddingGemma 2（740M、Apache 2.0），文本/代码/图片/音频/视频统一嵌入空间；Pixel 11 Pro 上量化后文本 ~191MB、全模态 ~567MB 内存。
- 端侧工具链提速：llama.cpp v0.6.0（10/5）带来 GLM-5.3-Flash（320B）稳定支持、Qwen4Exp MTP 投机解码（~1.5x）与 Metal 新内核（最高 ~3x）；Ollama v0.40 在 Apple Silicon 默认启用 MLX 支持。
- 硬件侧多点开花：DEEPX 获三星系约 1230 万美元投资、拿下核电焊接机器人项目；MINISFORUM 发布 192GB 统一内存主机（本地跑 DeepSeek V4 Flash 284B Q4 约 12 tok/s）；联发科天玑 9600 Pro / 9500 分别落地 OPPO 旗舰与三星新平板。
- 研究：调度与安全两个方向都有硬结果：EdgeAgent 在 Apple M4 上把多智能体本地推理最高加速 1.77x；DySCo 的端云层切分把吞吐拉高 275%；另有端侧对齐脆弱性分析——只改 0.19% 权重即可让攻击成功率达 53%。
- 国内动态：阶跃终端宣布 10/13 发布首款"大模型原生智能体手机" STEPX Neo。
📱 端侧模型
1. Google DeepMind 发布 EmbeddingGemma 2：740M 多模态端侧嵌入模型
2. Cactus Compute 开源 Whistle：16.9 MB 的端侧语音识别模型
- 核心进展：10/2 Cactus Compute 发布 Whistle——单文件 16.9 MB、纯 CPU 运行、Apache 2.0 的语音识别模型，覆盖手机、穿戴、机器人、智能家居、汽车与微控制器场景；10/9 该话题登上 Hacker News 首页引发讨论。
- 技术亮点：与 Needle 同一套 C++ 推理引擎（共享注意力块与量化容器），语音→文本→工具调用可在同一进程内接力；支持英/德/法/西/意/荷/波 7 种语言（暂不含中文），单段最长 30 秒；输出含词级时间戳与语音嵌入。实测（Apple M4 Pro，10 秒音频）：首 token 11.1ms（Whisper base 73.2ms），解码 1,319 tok/s（Whisper 266）；WER：LibriSpeech test-clean 4.31 / test-other 10.49 / AMI 26.07——官方数据未含独立复测，HN 用户反馈在口音场景需配合定制意图路由才可用。引擎预编译覆盖 17 个目标平台（含 RISC-V、MIPS、WASM、watchOS、Windows on ARM）。
- 链接：https://cactuscompute.com/blog/whistle ；https://huggingface.co/Cactus-Compute/whistle
- 日期：2026-10-02（窗口边缘；10/9 讨论热度攀升）
💾 芯片 / NPU
3. NVIDIA × Microsoft 联合活动：RTX Spark 上市定档 10/16，Surface Laptop Ultra 首发
- 核心进展：10/7 微软在旧金山举办 Windows AI 活动（黄仁勋 × 纳德拉同台），宣布 RTX Spark 笔电预订开启、10/16 正式上市，紧凑型桌面 11 月开卖；OEM 包括 Acer、ASUS、Dell、HP、Lenovo、Microsoft。首发旗舰为 Surface Laptop Ultra——围绕 RTX Spark 打造，最高 128GB 统一内存、最高约 1 PFLOP AI 算力。
- 技术亮点：这是"本地大模型 PC"从宣发进入零售时间表的节点——统一内存池让 CPU/GPU 共享权重与 KV 缓存，官方叙事直接对准本地 Agent 与大型量化模型（把 KV 缓存与上下文增长作为内存预算的核心变量单独解释）。上期（10-03 期）仍为泄露规格的 RTX Spark，本周由 NVIDIA 官方确认上市节奏；同场微软还宣布 MXC 智能体容器 GA、GitHub Copilot 将支持本地推理（详见第 11 条）。风险提示：单机实跑表现待第三方评测，"1 PFLOP"为厂商上限口径。
- 链接：https://blogs.nvidia.com/blog/local-ai-rtx-spark-microsoft-windows-event/
- 日期：2026-10-07
4. 联发科双平台落地：天玑 9600 Pro 官宣 OPPO 首批搭载，天玑 9500 供货三星新平板
5. DEEPX 一周三连：三星系约 1230 万美元投资、核电焊接机器人、3W NPU 上树莓派
6. MINISFORUM MS-S1 MAX-P495：192GB 统一内存，单机跑 300B 级模型
🔧 量化与优化
7. llama.cpp v0.6.0：GLM-5.3-Flash 入稳定版、Qwen4Exp MTP 投机解码、Metal 内核最高 ~3x
8. EdgeAgent：面向 CPU-GPU 统一内存的多智能体端侧推理编排（ASPLOS '27）
- 核心进展：arXiv 2610.03394（10/2，中山大学 + 中国移动）提出 EdgeAgent——面向端侧多智能体工作流的跨层推理系统，解决统一内存架构（UMA）上"朴素 CPU-GPU 协同"被总线争用拖垮的问题。
- 技术亮点：微观层面绕过图编译器限制实现零拷贝 UMA 感知张量并行（非对称内存布局，同时喂饱 CPU 与 GPU）；调度层面按序列"可预测性"动态分配投机解码草稿预算以限制带宽浪费；并用异步 suspend-and-yield 机制在工具调用卡顿时主动驱逐停滞 agent，保持硬件饱和。在 Apple M4 SoC 上：仅 UMA 感知执行就比批处理投机解码快 1.29x；加上 agent 感知调度后，在极端工具延迟下整系统加速 1.77x。论文自报数据，无第三方复现。
- 链接：https://arxiv.org/abs/2610.03394
- 日期：2026-10-02（窗口边缘）
9. DySCo：端云协同推理的动态层切分，吞吐最高 +275%（UvA / TU Wien）
- 核心进展：arXiv 2610.08268（10/6，阿姆斯特丹大学 + 维也纳工业大学）提出 DySCo——层切分式端云协同 LLM 推理运行时，让资源受限的边端设备贡献部分计算层。
- 技术亮点：KV 缓存留在本地；
dyForward 执行器可在不重载权重的情况下运行驻留模型分片上的任意连续层区间；多设备服务时用"深度同步批处理"（DSB）把不同切分深度的请求推进到最深切点、对公共后缀做批处理。实测：边端执行与通信造成的空闲间隙会给后续 GPU 前向调用额外增加最多 25ms/步的后缀时延；平均并发 8 时，DSB 吞吐较 FIFO +275%、较精确匹配批处理 +48%、较轮询交错 +79%。产物已开源。 - 链接：https://arxiv.org/html/2610.08268v1
- 日期：2026-10-06
10. 端侧模型安全有多脆弱？仅改 0.19% 权重即可击穿对齐（NeurIPS 2026 Workshop）
- 核心进展：arXiv 2610.09000（10/6）研究端侧存储的模型参数被局部篡改时的安全后果，定位 LLaMA-2-7B-Chat 中"安全敏感"的稀疏参数子集。
- 技术亮点：两种定位方法（低秩安全子空间 / 参数级安全—效用重要性过滤）都显示安全敏感性高度非均匀——MLP 的 down_proj 是最突出的安全敏感组件；参数级定位下，仅修改 down_proj 中 0.19% 的权重，即可达到 53%（Basic）/ 56%（GCG）攻击成功率，而 tinyBenchmarks 准确率几乎不变（51.6% vs 基准 52.2%）。含义：端侧设备上"模型文件完整性"本身是安全边界，需要针对稀疏敏感参数做选择性保护而非全量校验。
- 链接：https://arxiv.org/abs/2610.09000
- 日期：2026-10-06
🤖 端侧应用与框架
11. 微软把 137B 编码模型搬到本地 PC：MAI Code 1.1 Flash 端侧版 + Copilot 端云自动编排 + MXC 沙箱 GA
12. 阶跃终端将发"大模型原生智能体手机"STEPX Neo（10/13 发布会）
其他短讯（未单列但值得跟踪）
- 高通 IMC 2026（10/9，新德里）：高通携 iQOO 16、Motorola Signature 27、小米 18 Pro 等即将上市的骁龙 8 Elite / Extreme Gen 6 旗舰首秀印度市场，主题继续押注"端侧智能体 + 连接即计算"；属区域市场落地与设备预热，无新芯片发布。
- Ollama v0.40 系列（10/6 前后）：Apple Silicon 下默认启用 MLX 支持并扩充 MLX 兼容模型库；rc6 加入 EmbeddingGemma 2 支持（含 24 层双向文本编码器 + 共享视觉/音频塔的 MLX 实现，
/api/embed 支持逐条媒体输入）。 - EDGE AI Foundation 新设三个工作组（10/7）：物理 AI/机器人（NXP 领衔，成员含 AWS、Arduino、ADI、DEEPX、约翰霍普金斯大学）、安全、互操作性三个工作组同步成立，并与 Linux 基金会旗下 LF Edge 建立战略合作——边缘 AI 开始补"安全与互通"的标准课。
- 苹果官宣 10/13 "Welcome home" 特别活动（10/8）：外界预期聚焦家庭产品线与计算设备更新；另苹果此前预告的 Mac Studio 512GB 统一内存版将于 10 月下旬推出——苹果的"大内存本地模型"叙事值得在活动后复查。
- LLM Hub 移动端应用（10/3 版本）：Android 4.4.2 / iOS 1.4.0——本地模型对话 + 支持 MCP 的 agent + Whisper 转写 + 图像/音乐生成，声称本地推理全程离线；注意其"开源"实为 PolyForm 非商业许可（source-available）。
参考与筛选口径
- 检索关键词：
edge AI、on-device LLM、AI chip NPU、端侧大模型、quantization edge、small language model on device，另加 on-device agent framework、端侧AI 芯片 与厂商/芯片名定向检索（Microsoft / NVIDIA / Google / MediaTek / Qualcomm / DEEPX / MINISFORUM 等）。 - 入选标准：有明确时间点、可溯源原文，且对端侧部署（模型 / 芯片 / 压缩 / 框架）有实质影响；产品综述、榜单营销、无源转述剔除。
- 单条"日期"以原文发布日为准；10/2 的条目（Whistle、EdgeAgent）属检索窗口边缘，已在条目内标注实际日期。
- 已排除的重复项（见 2026-10-03 期）：华为 Mate 90、荣耀 Magic9、Google Antigravity SDK 等上期条目不再重复；RTX Spark 仅记"本周新增"的上市节奏与 Surface Laptop Ultra 信息。
- 数据可信度提示：MAI Code 本地版性能、Whistle 基准、DEEPX 投资金额（媒体标题有 $11M 与明细 $12.3M 两种口径）、MINISFORUM 12 tok/s 等均为厂商/官方自测或单一来源，未经第三方独立复现；学术条目（EdgeAgent / DySCo / Safety）为论文自报结果。