个人仓库让440万参数模型离线跑在Pico 2 W

GitHub 上一个个人开发者开源仓库，把 440 万参数的语言模型完整跑在 Pico 2 W 上，不连电脑也不上云。做法是让 2.5 MB 的 int4 权重常驻 Flash、每生成一个 token 读一遍，RAM 只放 KV 缓存和中间结果共 222 KB；按作者自测，速度从每秒 7.9 个 token 提到 12.9 个，同一套代码也能跑在不带 PSRAM 的经典 ESP32 上。 模型只在儿童英文小故事上训练过，只能续写简单英文故事，上下文仅 128 个 token，并非聊天机器人。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。