跳到正文

技术方向

端侧 AI 最新动态

跑在设备上的智能:边缘 NPU、端侧推理框架、小模型量化部署与功耗优化的进展。

64 条精选近 30 天 59 条共收录 152 条

更新

端侧 AI的精选

今天10月8日周四第 1–20 条
  1. 雷锋网62

    至简动力冯宗宝:IROS 2026 演讲机器人自主值守双 CNC 机床

    至简动力强化学习负责人冯宗宝在 IROS 2026 现场 Tech Talk 分享了机器人自主照看两台 CNC 机床的方案,在工件与卡盘间隙仅 0.5 毫米的场景下完成抓取、上料、取件与放置,且仅用 600 条真实机器人轨迹完成训练。

    推荐理由:演讲给出了0.5毫米间隙下的具体方法组合与600条轨迹的训练规模,可参考其从实验室到工厂的落地路径。

  2. 雷锋网58

    CAIR发布多模态临床智能体CARES 4.0,刘宏斌谈其从工具升级为智能体

    CAIR在香港具身智能医疗科技论坛上发布多模态临床智能体系统CARES 4.0,基于Harness智能体框架和自研CT、核磁、超声、内镜、脑电多模态医疗基座构建,已在多家三甲医院完成落地验证,官网已开放、框架与通用工具包已发布。

    推荐理由:访谈对比了3.0与4.0的差别并给出幻觉治理思路,可迁移给做垂直领域智能体的团队。

  3. 雷锋网62

    华为已为KV Cache单独做存储,专用SSD规格却还没定下来

    华为全联接大会推出OceanStor M900,英伟达也已推出CMX Context Memory Storage,KV Cache外置存储成为行业共识。业内估算DRAM与企业级SSD同容量成本相差数十倍,替换比例可达1:N甚至一比五、一比十。但面向KV Cache优化的SSD尚无统一标准,耐写要求从3 DWPD到9 DWPD反复变化,业内预计形成产品共识还需6至12个月,产品开发验证再需约1年。

    推荐理由:文章梳理了KV Cache外置存储的成本账与标准缺失现状,涉及具体DWPD指标和时间预期,便于评估相关采购决策。

  4. arXiv cs.RO 机器人学66

    RoboJEPA:面向多本体机器人世界模型的扩展律研究

    论文提出基于 JEPA 的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模真实机器人数据集上训练,其想象误差(latent rollout 误差)随算力呈二阶幂律,可在拟合规模之外预测模型质量。

    推荐理由:论文给出想象误差随算力的二阶幂律,为评估多本体世界模型规模提供了可迁移的预测方法。

  5. Hugging Face 每日论文64

    Long-WAM:扩展世界-动作模型上下文的模型系统框架

    Long-WAM 提出在实时控制约束下扩展因果世界-动作模型上下文的模型系统框架,核心发现是访问历史不等于使用历史,更长历史只有在视频底座经自回归预训练时才显著见效。

    推荐理由:论文用对照实验说明自回归预训练的视频底座才让长历史真正转化为成功率提升,可为世界模型选型提供依据。

  6. CNX Software62

    Efinix 发布 Sapphire RV64 可配置 RISC-V 软核 SoC

    Efinix 推出 Sapphire RV64 SoC,这是一款面向 Titanium、Topaz 和 Trion(T20 及以上)FPGA 的可配置 64 位 RISC-V 软核,基于 VexiiRiscv,可配置 1 至 4 个核心,主频最高 400 MHz。

    推荐理由:原文列出了主频、缓存、内存支持和外设配置,做 FPGA RISC-V 选型的工程师可据此评估是否替换现有 32 位方案。

  7. 嵌入式Linux60

    爱芯元智AX8850与瑞芯微RK3588端侧AI实测对比与选型分析

    文章对比爱芯元智AX8850与瑞芯微RK3588在端侧AI推理上的实测表现,引用双方官方benchmark数据,AX8850在YOLOv5s、YOLOv8n等模型上FPS达到RK3588单核的7~12倍。

    推荐理由:原文用双方官方benchmark的同模型FPS对比,把标称TOPS与实际推理性能的差距讲清楚,可迁移为选型时看实测数据的方法。

10月7日周三
  1. CNX Software58

    DSPi 固件让 Raspberry Pi RP2040/RP2350 变身带 DSP 引擎的 USB 声卡

    DSPi 是面向 Raspberry Pi Pico、Pico 2 及其他 RP2040/RP2350 板卡的音频 DSP 固件,可将其变为带集成 DSP 的 USB 声卡,支持房间校正、有源分频、参数 EQ、时间对齐等功能。

    推荐理由:原文列出了 DSPi 在 RP2040 与 RP2350 上的滤波器数量、通道数和数学引擎差异,便于按硬件选型评估。

  2. arXiv cs.RO 机器人学58

    Micro Neural Policies 实现 MCU 上安全实时机器人控制

    论文提出 Micro Neural Policies(MNP)合成方法,结合 Evolution Strategy(ES)搜索与 Statistical Model Checking(SMC)验证,在不牺牲安全与鲁棒性的前提下大幅压缩神经网络规模。

    推荐理由:论文给出策略内存占用与抖动等量化指标,便于评估微型神经策略在 MCU 上的部署可行性。

  3. arXiv cs.RO 机器人学62

    NTNU 提出可在单核 MCU 上运行的雷达惯性里程计

    NTNU 团队提出面向低算力平台的嵌入式雷达惯性估计器,所有传感器驱动、数据处理与辅助惯性导航均在单核 MCU 上运行。飞行实验显示相对动捕的平移 APE 为 0.51-0.82 m、RPE 低于 3%,并完成基于未修改 PX4 栈的闭环飞行;固件与 PCB 设计已在 GitHub 的 ntnu-arl/embedded_rio 和 ntnu-arl/embedded_rio-pcb 开源。

    推荐理由:论文给出单核 MCU 上的完整实现与实测误差区间,可评估其在算力受限平台替代视觉方案的可行性。

  4. arXiv cs.RO 机器人学60

    Flash-WAM 提出模态感知步蒸馏,将世界动作模型推理压缩到单步

    Flash-WAM 提出模态感知的步蒸馏框架,针对动作流低噪声区间采用线性梯度缩放参数化、视频流高噪声区间采用保方差参数化,把世界动作模型推理压缩到每个模态单步。

    推荐理由:论文给出了动作流与视频流噪声分布不对称的结构性分析,做世界动作模型实时推理的团队可据此选择一致性函数参数化。

  5. arXiv cs.RO 机器人学58

    面向实时 VLA 的两阶段非均匀去噪与系统级评测

    论文针对 VLA 模型低速率推理与机器人高速率执行之间的时间差,测量了模型推理与机器人执行链的端到端时延,并提出两阶段非均匀去噪,将去噪步数从 10 步减到 2 步、模型推理时间从 61.557 ms 降到 21.956 ms。

    推荐理由:论文给出两步去噪把推理时间从 61.557 ms 降到 21.956 ms 的实测数据,可为 VLA 实时化优化提供参考。

  6. arXiv cs.RO 机器人学58

    FLASH Policy 用稀疏采样与 Legendre 多项式实现高效视觉运动策略

    FLASH Policy 用 Legendre 多项式连续轨迹表示替代离散动作块生成,通过稀疏时间采样拟合专家演示,单次推理即可覆盖更长的动作时域。该方法以历史多项式系数而非高斯噪声初始化流匹配,缩短传输距离并支持单步推理,多项式解析求导还可直接为力矩控制器提供速度前馈信号。

    推荐理由:用 Legendre 多项式连续轨迹替代离散动作块,配合历史系数初始化流匹配,给出了单步推理与速度前馈的完整实现思路。

  7. arXiv cs.RO 机器人学58

    ProbeFlow 提出免训练自适应 Flow Matching 推理框架,加速 VLA 模型动作解码

    Zhou Fang 等提出 ProbeFlow,一种面向 VLA 模型的免训练自适应推理框架,通过初始与前瞻速度向量的余弦相似度评估轨迹复杂度并动态调度积分步数,以剪枝冗余网络评估。

    推荐理由:原文给出用速度向量余弦相似度动态调度积分步数的方法,可迁移到其他 Flow Matching 动作头的推理加速。

  8. arXiv cs.RO 机器人学58

    研究刻画 VLA 工作负载特性,指导具身 AI 系统设计

    一篇将发表于 ASPLOS '27 的论文对 4 个代表性 VLA 模型在边缘 GPU 服务器和两款车载 SoC 上做了单次推理剖析与 43,200 次闭环实验。结果显示动作张量维度决定各阶段是内存受限还是算力受限,平台平衡会改变瓶颈位置,GPU 频率调节存在平台相关的能耗-时延最优区间。闭环运行中推理与动作执行重叠会带来精度-速度-能耗权衡,没有一种配置在各类部署 SLO 下都占优。

    推荐理由:论文给出 VLA 模型在 batch-1 控制场景下的内存与算力瓶颈判定依据,可为模型、硬件与运行时联合设计提供参考。

10月6日周二
  1. IoT物联网技术64

    Meta 开源 Muse Gadgets 硬件开发套件,适配 ESP32 与树莓派

    Meta 开源了 Muse Gadgets 硬件开发套件,包含乐鑫ESP32固件和 Linux SDK,开发者可用几十元的 ESP32 开发板或树莓派为个人桌面 AI Agent Muse 制作物理外设,实现智能家居控制、日程提醒等功能。

    推荐理由:原文给出了硬件BOM成本、固件与Linux SDK分工和刷写绑定流程,想自制Muse外设的开发者可据此评估上手成本。