树莓派官方博客· Ashley·· 16 天前精选AI 评分66
Cactus Compute 用 14MB 的 Needle 2 在树莓派 5 上把自然语言变成本地动作
Turn text input into actions with Needle, a 14MB function-calling LLM
AI 导读
Cactus Compute 展示了 14MB 的 function-calling 模型 Needle 2,可在 Raspberry Pi 5 上仅用 CPU 把自然语言转成本地动作,输入 Turn the LED on 后 78 毫秒点亮 LED。
推荐理由
原文给出完整 Python 代码与各次调用的延迟、内存数据,想在树莓派上做本地 function calling 的人可以直接照着复现。
来源:树莓派官方博客 · raspberrypi.com