跳到正文
单片机那点事·· 18 小时前精选AI 评分59

440万参数语言模型跑在 Pico 2 W 上:权重留在 Flash、RAM 仅占 222 KB

440万参数语言模型,怎么跑在Pico 2上的

AI 导读

GitHub 上一个个人新仓库把 440 万参数的语言模型完整跑在 Pico 2 W 上,不连电脑也不上云。2.5 MB 的 int4 权重常驻 Flash,每生成一个 token 读一遍,RAM 只放 KV 缓存和中间结果共 222 KB,压缩思路借鉴 Gemma 3n 的 PLE。

推荐理由

原文讲清了权重留在Flash、RAM只放KV缓存的实现思路,做端侧部署的工程师可借鉴这种省内存的做法。

来源:单片机那点事 · mp.weixin.qq.com