首页 / 端侧 AI · 2026-09-05

端侧 AI 周报 | 2026-09-05

覆盖窗口：2026-08-29 ~ 2026-09-05（个别重磅事件标注实际日期）。厂商自测数据均已注明，未经第三方验证的声明会明确提示。

摘要

本周端侧 AI 的主线非常清晰：内存墙，而非算力，成为所有人的共同敌人。AMD（统一内存嵌入式芯片）、高通（AI 核心塞进 GPU 管线）、小米（3D 堆叠 1.22TB/s 带宽的玄戒 O100）、NVIDIA（局域网推理路由 PAIR）四家从不同方向围攻同一个瓶颈。模型侧，讯飞系开源了号称原生 100 万 token 上下文的端侧小模型，NVIDIA 则把前沿推理模型（Nemotron 3.5 Lightning、Qwen3.8-27B）搬上 Jetson 并给出 6.28 倍解码加速配方。应用侧，全球首款"AI 智能体手机"（豆包手机）拿下入网许可、9 月开售，苹果 9 月 9 日发布会（iPhone 18 / A19）则是下周最大的端侧 AI 看点。

📱 端侧模型

1. 讯飞慈元星火 X2.5-4B / 1.7B 开源，号称首个原生 100 万 token 上下文端侧模型

• 核心进展：9 月 1 日，科大讯飞子公司慈元星火开源两个端侧模型 X2.5-4B 与 X2.5-1.7B，宣称是首个原生支持 100 万 token 上下文的端侧模型，权重、代码与部署文档已上 Hugging Face / GitHub，支持 llama.cpp、vLLM、SGLang、Ollama、LM Studio。
• 技术亮点：1.7B 参数量级做到原生 1M 上下文（若属实）；主流端侧小模型目前多为 32K~128K 上下文，长文档/代码库本地阅读是差异化场景。⚠️ 100 万 token 为官方自报，尚无真机内存占用与延迟的独立实测，量化后 KV Cache 开销仍是最大疑问。
• 原文：https://theaivibe.org/edge/a-million-token-llm-tries-to-fit-on-your-phone-as-tiny-voice-models-mu-2026-09-01
• 日期：2026-09-01

2. Artificial Analysis × Liquid AI 上线手机端模型基准，Nanbeige 4.2-3B 与 LFM2.5-2.6B 并列登顶

• 核心进展：知名基准机构 Artificial Analysis 联合 Liquid AI 发布针对手机的智能与推理基准：同一 4-bit（或更低）量化构建，在真机恒温实验室测智能（工具调用、指令遵循、知识、推理五项）与速度/内存/延迟，8K 上下文、8GB 内存可装入为参测门槛，Pipette 测试工具已开源。
• 技术亮点：iPhone 17 Pro 首发结果中，LFM2.5-2.6B 以 8.0 秒 / 2.3GB 内存完成标准 1024-token 问答（同分对手 Nanbeige 需 21.4 秒 / 4.0GB），效率优势显著；41 个量化构建中 33 个成功跑通。以后选端侧模型终于有统一标尺，不用再看厂商各说各话的跑分。
• 原文：https://artificialanalysis.ai/articles/mobile-phone-intelligence-inference
• 日期：2026-08-24（窗口外一周，基准工具持续更新，仍具参考价值）

3. Cactus Needle 2：14MB 二进制、专做工具调用的 45M 参数小模型

• 核心进展：Cactus Compute 发布 Needle 2，4500 万参数、专为函数调用训练，tokenizer + C++ 推理引擎打包为单个 14MB 二进制，单会话内存约 28MB，2bit/权重运行，目标覆盖 watchOS、tvOS、WebAssembly 乃至 RISC-V/MIPS。
• 技术亮点：极致 specialists 路线——官方测试称可与大 5~70 倍的 FunctionGemma 270M、LFM2.5 230M 互有胜负（⚠️ 自测、仅限函数调用子集）；"智能手表脱离手机独立调工具"是多数 LLM 发布会根本不覆盖的场景。
• 原文：https://pyshine.com/Needle-2-14MB-Foundation-Model-Tiny-Devices/
• 日期：2026-09-01

💾 芯片/NPU

4. 高通 Adreno Neural Fusion：把 AI Matrix Core 直接放进 GPU 管线

• 核心进展：9 月 2 日高通披露下一代旗舰 Snapdragon 的 Adreno Neural Fusion 架构，在三个 GPU slice 内各置专用 Matrix Core，AI 推理直接跑在图形管线内而非往返独立 NPU，配 18MB 高性能缓存，Unity / Unreal 已支持。
• 技术亮点：省掉 GPU↔NPU 来回搬运，官方称省电最高 40%（⚠️ 厂商数字）；端侧生成式超分、实时特效类负载最受益。下周骁龙 8 Elite Gen 5 终端细节值得跟。
• 原文：https://tbreak.com/qualcomm-adreno-neural-fusion-gpu-next-snapdragon/
• 日期：2026-09-02

5. AMD Ryzen AI Embedded X100：128GB 统一内存 + 273GB/s，赌"少搬运"而非"高 TOPS"

• 核心进展：AMD 新嵌入式系列 X100（16×Zen5 + 40CU RDNA3.5 + XDNA2 NPU 约 50 TOPS）围绕单一统一内存池设计：最高 128GB、273GB/s，32MB 共享缓存让 CPU/GPU/NPU 免拷贝访问同一份数据，主攻机器人与工业控制。
• 技术亮点：与堆 TOPS 数字的路线反着来——优化传感器→感知→规划→控制全链路的搬运功耗与延迟。对物理 AI 设备而言，这个方向比峰值算力更实在（⚠️ 目前为架构宣称，机器人实测基准待出）。
• 原文：https://www.jonpeddie.com/news/amd-builds-physical-ai-around-balanced-compute/
• 日期：2026-09-04（本周分析披露）

6. 小米玄戒 O3（200 TOPS NPU）+ O100（1.22TB/s 3D 堆叠带宽）：国产端侧算力最大手笔

• 核心进展：8 月 24 日小米发布三颗玄戒芯片：手机 SoC 玄戒 O3（3nm、240 亿晶体管、安兔兔首破 500 万分、4 核 NPU 200 TOPS、配 5 值量化推理快 45%），以及 6nm 端侧 AI 加速芯片 O100（WoW 3D 堆叠、258 万键合点、1.22TB/s 带宽、推理 330 Token/s），另有智驾 D100（单芯片支持 160GB 内存、本地跑 200B 参数模型）。
• 技术亮点：O100 用 Hybrid Bonding 把 2 层 DRAM 与 1 层 NPU 键合，带宽达主流手机 16 倍，直击端侧大模型"内存墙"；O3 首发 LPDDR6、SIMT Vector 单元 3.13 TFLOPS。端侧 Agent 弱网/断网可用是明确产品目标。
• 原文：https://www.donews.com/news/detail/5/6682739.html
• 日期：2026-08-24（窗口外，劲爆程度保留收录）

7. 联发科天玑 9500 对位苹果 A19 Pro、骁龙 8 Elite Gen 5：CIM 存算一体 NPU 赌常开 AI

• 核心进展：天玑 9500 以 CIM（存内计算）架构 NPU 主打"常开后台 AI 低功耗运行"，与同期发布的苹果 A19（含 Pro）及高通骁龙 8 Elite Gen 5 同处超高端同一档，GSMArena 称四家（另有 Exynos 2600）史上首次无一家独大。
• 技术亮点：差异化不在峰值跑分而在待机能效——后台模型常驻不烧电池；手机 SoC 竞争已从 CPU 跑分转入 NPU 架构战。
• 原文：https://www.businessworld.in/article/how-mediateks-dimensity-9500-compares-with-apple-a19-pro-and-snapdragon-572668
• 日期：2026-09-03 前后

8. 苹果 9 月 9 日发布会前瞻：新 CEO 首秀 + iPhone 18 / 折叠 Ultra + 端侧 AI 门槛上移

• 核心进展：苹果定于 9 月 9 日（北京时间 9 月 10 日凌晨）开发布会，John Ternus 9 月 1 日接任 CEO 后的首秀；传闻 iPhone 18 标准版缺席，主角为 iPhone 18 Pro 与首款折叠屏 iPhone Ultra，最强端侧 AI 模型需 iPhone 17 Pro / Air 及更新机型。
• 技术亮点：A19 系 NPU 与新 Siri（Apple Intelligence 驱动）是端侧看点；iOS 27 明确按机型切分端侧 AI 能力，意味着苹果正式把"端侧大模型可用性"变成换机驱动力。下周周报跟进实测。
• 原文：https://www.theverge.com/tech/989692/apple-iphone-launch-event-september-2026-how-to-watch
• 日期：2026-09-04（前瞻，事件 2026-09-09）

🔧 量化与优化

9. NVIDIA 官方指南：前沿推理模型上 Jetson——NVFP4 + 推测解码最高 6.28 倍解码加速

• 核心进展：9 月 4 日 NVIDIA 技术博客给出 Jetson 部署新一代紧凑推理模型的完整配方：以 Nemotron 3.5 Lightning（30B MoE、每 token 仅激活 3B）与 Qwen3.8-27B（dense）为例，NVFP4 量化 + 推测解码（Nemotron 配 DSpark、Qwen3.8 配 DFlash2 最优），vLLM 服务，最高达 BF16 6.28 倍解码吞吐。
• 技术亮点：关键结论是"最优推测解码配置因模型而异，须按目标模型实测选型"，且必须用代表性 prompt 做应用级验证——通用基准保不住关键行为。边缘 Agent（驾驶舱助手、弱网机器人）可直接照抄作业。
• 原文：https://developer.nvidia.com/blog/frontier-reasoning-reaches-the-edge-how-to-deploy-and-optimize-models-on-nvidia-jetson/
• 日期：2026-09-04

10. NVIDIA Cosmos 3 Edge：4B 参数机器人端侧世界模型 + "精度-能效悖论"提醒

• 核心进展：NVIDIA 发布 Cosmos 3 Edge（4B omni 模型，内含 2B Nemotron reasoner），专为机器人端侧实时策略适配设计；同期学术工作提出 Accuracy-Efficiency Paradox：在电池设备上，更准的模型其推理耗电与电池折旧可能超过它省下的能量，主张以 TCO（全生命周期能耗）而非纯精度评估端侧模型。
• 技术亮点：一推一拉恰好是端侧成熟的标志：模型按目标硬件量体裁衣，功耗预算进入设计约束。做端侧选型时，"常开小模型 > 间歇大模型"可能是更优解。
• 原文：https://datashanks.com/articles/technology/local-llm/edge-ai-in-2026-running-ai-on-device-for-speed-and-privacy.html
• 日期：2026-08-30 前后

11. NVIDIA PAIR 开源 Beta：把全屋 PC 变成一个局域网推理池

• 核心进展：9 月 3 日 NVIDIA 发布 PAIR（Personal AI Router）开源 Beta：自动发现局域网内可用机器，按空闲算力路由独立推理请求，兼容 Ollama / LM Studio，支持 RTX 20 系及更新显卡、DGX Spark、M4 及更新 Mac；同期 IFA 数据称新 kernel + 推测解码让 RTX 5090 上 llama.cpp 吞吐最高 +90%。
• 技术亮点：Agent 工作流会扇出大量小并行任务，单卡常成瓶颈而隔壁机器闲置——PAIR 把"一屋子电脑"当一个集群使。家庭/办公室本地算力利用率的新解法（⚠️ 加速数字为 NVIDIA 自测）。
• 原文：https://developer.nvidia.com/blog/nvidia-pair-virtual-inference-router-expands-available-compute-on-your-local-network/
• 日期：2026-09-03

🤖 端侧应用

12. 全球首款"AI 智能体手机"量产：豆包手机（努比亚 NaviX Ultra）获入网许可、9 月开售

• 核心进展：搭载豆包手机助手的努比亚 NaviX Ultra 获工信部入网许可，走完"大模型备案→终端入网"完整合规流程，计划 9 月上市；同期旗舰 AI 搜索实测显示端侧推理已成购机关键指标，而千元机（天玑 7400 NPU）本地 AI"速度慢、准确率低"，SoC 分档效应明显。
• 技术亮点：意义不在硬件而在范式——手机从"装 App"转向"装智能体"，且拿到全链路合规首例；但实测也证伪了"千元机谈端侧 AI"，NPU 算力 + 内存带宽的硬门槛真实存在。
• 原文：https://wap.eastmoney.com/a/202609023862610724.html
• 日期：2026-09-02

下周看点

• Apple 9/9 发布会：A19 NPU 规格、新 Siri 端侧能力、折叠 Ultra 是否首发端侧独占模型。
• 高通下一代旗舰（Adreno Neural Fusion 实装机型）IFA 后续终端落地。
• 星火 X2.5 系列独立复现：1M 上下文在真机上的内存/延迟实测。
• Jetson Thor 生态：Agility Digit G6、波士顿动力 Atlas 换 Thor 后的端侧推理表现。

注：本报告厂商性能数字多为官方自报，已逐条标注；引文链接为公开来源。