单片机那点事·· 18 小时前精选AI 评分59
440万参数语言模型跑在 Pico 2 W 上:权重留在 Flash、RAM 仅占 222 KB
440万参数语言模型,怎么跑在Pico 2上的
AI 导读
GitHub 上一个个人新仓库把 440 万参数的语言模型完整跑在 Pico 2 W 上,不连电脑也不上云。2.5 MB 的 int4 权重常驻 Flash,每生成一个 token 读一遍,RAM 只放 KV 缓存和中间结果共 222 KB,压缩思路借鉴 Gemma 3n 的 PLE。
推荐理由
原文讲清了权重留在Flash、RAM只放KV缓存的实现思路,做端侧部署的工程师可借鉴这种省内存的做法。
来源:单片机那点事 · mp.weixin.qq.com