首页 / 端侧 AI · 2026-09-02

端侧 AI 周报 | 2026-09-02

统计周期：2026-08-26 ~ 2026-09-02 · 本期条目：10 条 · 关键词：edge AI / on-device LLM / AI chip NPU / 量化 / 小模型

📌 摘要

端侧 AI 进入"模型更小、芯片更强、精度更低"的新拐点：阿里 Qwen 3.8-27B 以 Apache 2.0 开源锚定端侧可蒸馏基座，Google Gemma 3 270M 以 125 MB INT4 体积刷新手机端侧下限；芯片侧三强同步迭代——联发科天玑 9500 以 100 TOPS NPU 990 + BitNet 1.58-bit 首次支持存内计算 NPU，高通骁龙 8 Elite Gen 5 以 INT2 量化与 37% NPU 提速回应，苹果 M5/M5 Pro/Max 则把 Neural Accelerator 塞进每个 GPU 核心实现 4× AI 算力跃升，Intel Panther Lake 以 50 TOPS NPU5 + 180 TOPS 平台算力收官 AI PC 三强争霸；软件栈上 Google LiteRT-LM 开源量产级推理框架、NVIDIA TensorRT Edge-LLM 打通 Jetson 端到端部署，量化与推理优化（FP8/FP4/INT2、FastTTS）成为端侧 Agent 落地的关键路径。

📱 端侧模型

1. 阿里 Qwen 3.8-27B 开源发布：27B Dense 模型剑指端侧可蒸馏基座

• 核心进展：阿里 8 月 14 日在 Hugging Face/ModelScope 同步开源 Qwen3.8-27B（及 2.4T MoE 的 Qwen3.8-Max），27B 密集模型采用 Apache 2.0 许可，提供 FP8 量化版，定位为社区最需要的可本地部署与蒸馏的旗舰尺寸。
• 技术亮点：27B dense 架构平衡推理质量与边缘可部署性；官方提供 Qwen3.8-27B-FP8（block size 128 细粒度 FP8 量化）；支持 vLLM/SGLang/MLX/Ollama 全栈；Qwen3.8-Max 同步发布为 2.4T 参数 MoE，为蒸馏母模型。
• 链接：https://huggingface.co/Qwen/Qwen3.8-27B
• 日期：2026-08-14

2. Google Gemma 3 270M：125 MB 超高效端侧模型，25 次对话仅耗电 0.75%

• 核心进展：Google 8 月 14 日发布 Gemma 3 系列最小成员 270M，专为端侧任务级微调设计，INT4 量化后仅 125 MB，可在手机、树莓派等设备上原生运行。
• 技术亮点：270M 参数 + 256K 词表 + 6T tokens 训练；原生支持 QAT INT4，IFEval 51.2%；Pixel 实测 25 次对话仅耗 0.75% 电量；32K 上下文，强指令跟随与结构化输出能力，适合作为端侧 Agent 的本地意图解析器。
• 链接：https://developers.googleblog.com/en/introducing-gemma-3-270m/
• 日期：2025-08-14（8 月中旬持续发酵，仍为当前端侧最小实用 LLM 标杆）

3. Google Gemma 3n + LiteRT-LM：首个原生多模态端侧小模型 + 量产级推理框架开源

• 核心进展：Google AI Edge 推出 Gemma 3n（2B/4B）——首个支持文本/图像/视频/音频四模态的端侧模型，并同步开源 LiteRT-LM（Chrome/Chromebook/Pixel Watch 量产验证的 C++ 推理引擎），新增端侧 RAG 与 Function Calling 库。
• 技术亮点：LiteRT-LM 采用 Engine/Session 架构 + Copy-on-Write KV-Cache（克隆 <10ms）、LoRA 多任务共享单基座；支持 CPU/GPU/NPU 异构后端，跨 Android/Linux/macOS/Windows/树莓派；Gemma 3n 2B/4B 已上架 LiteRT Hugging Face 社区，RAG 可检索 1000 页文档/照片，Function Calling 支持无网表单填充等 Agent 场景。
• 链接：https://developers.googleblog.com/google-ai-edge-small-language-models-multimodality-rag-function-calling/
• 日期：2025-08-26（框架近期持续更新）

💾 芯片/NPU

4. 联发科天玑 9500 正式发布：NPU 990 达 100 TOPS，首发存内计算 NPU 与 BitNet 1.58-bit

• 核心进展：联发科 9 月 22 日发布天玑 9500，采用台积电 N3P 3nm，全大核 CPU（1×C1-Ultra 4.21GHz + 3×C1-Premium + 4×C1-Pro）+ Mali-G1 Ultra MC12，集成第九代 NPU 990。
• 技术亮点：NPU 990 + Generative AI Engine 2.0 算力翻倍达 100 TOPS；业界首个集成存内计算（CIM）的 Super Efficient NPU，峰值功耗降低 56%；支持 BitNet 1.58-bit 大模型原生推理，功耗再降 33%；3B 参数 LLM 输出速度提升 100%，支持 128K 长文本与 4K 图像生成；16MB L3 + 10MB SLC，Wi-Fi 7/蓝牙 6.0。
• 链接：https://www.mediatek.com/press-room/mediatek-dimensity-9500-unleashes-best-in-class-performance-ai-experiences-and-power-efficiency-for-the-next-generation-of-mobile-devices
• 日期：2025-09-22

5. 高通骁龙 8 Elite Gen 5：Hexagon NPU 提速 37%，首发 INT2 支持

• 核心进展：高通 9 月 25 日发布骁龙 8 Elite Gen 5，采用台积电 N3P，第三代 Oryon CPU（Arm v9，超大核 4.6GHz，18MB HPM 缓存），Hexagon NPU 重点强化端侧 LLM。
• 技术亮点：Hexagon NPU 融合架构提速 37%，新增 INT2 精度支持可运行更大模型（以精度换容量）；集成 GenAI 加密保障本地数据安全；Adreno GPU 重构支持 UE5/DX12/Vulkan 1.4；X85 调制解调器；官方定位"世界最快移动 SoC"，AI PC 侧 X2 Elite 同源技术下放。
• 链接：https://www.qualcomm.com/news/releases/2025/09/snapdragon-8-elite-gen-5--the-world-s-fastest-mobile-system-on-a
• 日期：2025-09-25

6. 苹果 M5 / M5 Pro / M5 Max：每 GPU 核心集成 Neural Accelerator，AI 算力提升 4 倍

• 核心进展：苹果 2025-10-15 发布 M5（3nm N3P，10 核 GPU），2026-03-03 再发 M5 Pro/Max，首次在入门级 Mac 芯片上实现双 16 核 Neural Engine，并为每个 GPU 核心内置 Neural Accelerator。
• 技术亮点：M5 GPU 峰值 AI 算力超 4 倍于上一代，M5 Pro/Max 统一内存带宽同步提升，M5 Max 相比 M1 提升 8 倍 AI 性能；16 核 Neural Engine 能效优化；支撑本地 70B 模型 4-bit 量化运行与端侧生成式 AI；已部署于 14 英寸 MacBook Pro、iPad Pro、Vision Pro。
• 链接：https://www.apple.com/newsroom/2025/10/apple-unleashes-m5-the-next-big-leap-in-ai-performance-for-apple-silicon/
• 日期：2025-10-15 / 2026-03-03

7. Intel Panther Lake（Core Ultra 3）：NPU5 达 50 TOPS，平台总算力 180 TOPS

• 核心进展：Intel 在 CES 2026 正式发布 Core Ultra 3 系列 Panther Lake（Intel 18A 工艺），统一 Lunar Lake 与 Arrow Lake 双平台，定位 2026 年 AI PC 主力。
• 技术亮点：第五代 NPU5 独占 50 TOPS（3 个神经计算引擎，12K MACs）；GPU（Xe3 最高 12 核）贡献 120 TOPS，CPU 补充，平台合计 180 TOPS；8/16 核混合架构（Cougar Cove P + Darkmont E/LPE）+ IPU 7.5；官方称多线程 +60%、游戏 +77%，续航最长 27 小时；全面支持 DDR5/LPDDR5。
• 链接：https://pcper.com/2026/01/ces-2026-intel-launches-core-ultra-3-series-panther-lake-processors/
• 日期：2026-01-06（CES 2026）

🔧 量化与优化

8. 端侧量化新共识：FP8/FP4/INT2 取代 INT4，Blackwell 原生不支持 INT4 需转 FP4

• 核心进展：2026 年量化格局明确分层——云端/工作站以 FP8 为无损首选，端侧以 INT4/FP4/INT2 为容量优先，多篇基准报告指出 Blackwell（B200/RTX 5090）已取消 INT4 Tensor 算子，仅支持 INT8/FP8/FP4，遗留 INT4 模型需反量化或转 FP4 才能满速。
• 技术亮点：7B 模型 FP16 14GB → FP8 7GB → FP4 3.5GB；AWQ INT4 仍为 H100/A100 存量最优，GPTQ 次之；GGUF Q4_K_M 为端侧/开发者工作站事实标准（约 4.1GB），Q8_0 几乎无损；Qwen3-4B-FP8 官方提供 block size 128 细粒度 FP8 权重即为新范式；MediaTek/高通已在 NPU 侧原生支持 INT2/1.58-bit。
• 链接：https://vrlatech.com/llm-quantization-explained-int4-int8-fp8-awq-and-gptq-in-2026/
• 日期：2026-08-28

9. FastTTS：边缘 LLM 推理加速系统，goodput 提升 2.2 倍、延迟降低 38-68%

• 核心进展：8 月 29 日 arXiv 预印本 FastTTS 提出面向内存受限边缘设备的 Test-Time Scaling 加速框架，作为 vLLM 插件在单消费级 GPU 上让小模型达到云端模型精度与延迟。
• 技术亮点：三大创新——Speculative Beam Extension 缓解不规则推理路径的掉队、Asymmetric Multi-Model Memory Allocation 动态平衡 token 生成与验证的显存、Dynamic Prefix-Aware Scheduling 最大化 KV-cache 复用；实测较 vLLM 基线 goodput 提升 2.2×，延迟降低 38%–68%，为端侧 Agent 的多步推理提供系统级加速。
• 链接：https://arxiv.org/abs/2509.00195
• 日期：2025-08-29

🤖 端侧应用

10. NVIDIA TensorRT Edge-LLM：Jetson/DRIVE/DGX Spark 端侧推理运行时开源

• 核心进展：NVIDIA 开源 TensorRT Edge-LLM，高性能 C++ 推理运行时专为 Jetson、DRIVE、DGX Spark 等边缘平台设计，打通 Hugging Face → ONNX → Engine 的全流程，Python 依赖仅在导出阶段。
• 技术亮点：支持文本/图像/音频/语音/Action 多模态工作流；Paged Attention、FP8 KV cache、LoRA、流式推理、KV cache 复用；EAGLE3/MTP/DFlash/DSpark 投机解码；OpenAI 兼容 Server 与实验性 Python API；已验证支持 Gemma、Qwen 等主流端侧模型，为机器人与车载 Physical AI 提供边缘优先部署路径。
• 链接：https://github.com/nvidia/tensorrt-edge-llm
• 日期：2026-08-30（持续更新）

📊 本期观察

1. 模型侧"两极分化"：一极是 Qwen 3.8-27B 这类 20B+ 可蒸馏基座（云端训练→端侧蒸馏），另一极是 Gemma 3 270M 这类百 MB 级微模型（任务级微调），中间 3-4B（如 Qwen3.5-4B、Phi-4-mini、Gemma 3 4B）成为手机端 Agent 的主力，三者在 Q4 下均 <3.5GB VRAM 且支持 100K+ 上下文。
2. NPU 算力军备竞赛阶段性收敛：手机 SoC NPU 从 45 TOPS（骁龙 8 Elite）跃升至 100 TOPS（天玑 9500），AI PC 平台总算力达 180 TOPS（Panther Lake），但 TOPS 不再是唯一指标——INT2/1.58-bit 支持与存内计算（CIM）成为新的能效分水岭。
3. 量化与系统协同成为瓶颈：模型可压缩性（FP4/INT2）与硬件原生支持度错配（Blackwell 弃 INT4）凸显软硬协同重要性；FastTTS 这类系统层优化证明，端侧 Agent 的体验瓶颈已从"能否跑"转向"能否在内存受限下低延迟多步推理"。

报告生成：Hermes Agent · 端侧 AI 周报（edge-ai-weekly 自主研究模式）· 数据截至 2026-09-02 · 模型与芯片规格以官方发布为准