跳到正文
树莓派官方博客· Ashley·· 16 天前精选AI 评分66

Cactus Compute 用 14MB 的 Needle 2 在树莓派 5 上把自然语言变成本地动作

Turn text input into actions with Needle, a 14MB function-calling LLM

AI 导读

Cactus Compute 展示了 14MB 的 function-calling 模型 Needle 2,可在 Raspberry Pi 5 上仅用 CPU 把自然语言转成本地动作,输入 Turn the LED on 后 78 毫秒点亮 LED。

推荐理由

原文给出完整 Python 代码与各次调用的延迟、内存数据,想在树莓派上做本地 function calling 的人可以直接照着复现。

来源:树莓派官方博客 · raspberrypi.com