bd4sur /Nano

电子鹦鹉 / Toy Language Model

★ 299⑂ 14👁 7⑃ 0● 6▤ 0
CCreated 2023-12-19bd4sur.com/Nano/infer/web
+0
Daily
299
stars
14
forks
7
watchers
0
prs
6
issues
0
releases

README

Nano - Cyber Parrot

B站视频演示:

|树莓派语音对话离线部署|基于自制Scheme解释器的推理|路由器离线部署|
|:--:|:--:|:--:|
|ESP32单片机集群推理|通过业余无线电C证考试|红米AX5路由器部署推理|


 【立即体验浏览器本地推理】

Nano是Transformer结构的语言模型,供个人赏玩、研究、炼丹炉煲机。期望:

- 训练实践:实现Transformer语言模型的预训练和监督微调,训练出若干可用的模型。
- 推理实践:在单板机、单片机、浏览器、PC、服务器等各类环境上,高效推理语言模型。
- 开放探索:研究LLM的动力学等问题,开放探索其他模态和领域的问题。
- 硅碳互动:对LLM祛魅,在实践中建立起对于LLM的感性经验、合理预期和哲学认识。

为什么叫“Nano”:

- 東雲なの(Shinonome Nano)是动画《日常》中出场的机器人高中生。
- 本仓库主要复刻自Karpathy大佬的nanoGPT。取名Nano也是为了致(chao)敬(xi)nanoGPT。

 模型和数据

|模型|说明|领域监督微调模型|LoRA插件|
|:---------:|:----:|:-----------:|:-------:|
|Nano-Pico|用于验证极低资源推理部署的极小规模模型|无规划|无规划|
|Nano-56M|56M参数,包括基础模型和通用问答模型|无规划|无规划|
|Nano-168M|168M参数,包括基础模型和通用问答模型|业余无线电操作证考试|暂无公开插件|

其中各尺寸模型的参数如下(在config/model.json中设置):

|   Model  |Nano-168M | Nano-56M | Nano-10M |Psycho-1M |Psycho-230k|Qwen3-0.6B|
|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|
|block_size|   512    |   512    |   512    |   512    |   512    |   40960  |
|vocab_size|   16384  |   16384  |   8192   |   4096   |   4096   |   151936 |
| n_layer  |   24     |   16     |   12     |   16     |   8      |   28     |
|  n_embd  |   768    |   512    |   240    |   64     |   32     |   1024   |
| head_dim |   48     |   32     |   20     |   8      |   8      |   128    |
|  n_head  |   16     |   16     |   12     |   8      |   4      |   16     |
|n_kv_head |   8      |   8      |   4      |   4      |   2      |   8      |
| n_hidden |   2048   |   1408   |   720    |   192    |   96     |   3072   |
|tokens@PT|   25.6G  |   10.1G  |   1.0G   |   1.0M   |   1.0M   |    /     |
| QAs@SFT |   12M    |   2M     |   1M     |   N/A    |   N/A    |    /     |

公开数据集:

- 预训练数据(7z压缩包,解压口令“nano”):Nano-PT-10G

适配Nano推理引擎的Qwen2.5/Qwen3模型:bd4sur/Qwen3

探索去噪生成的试验性模型:Nano-Denoise

 推理

|Raspberry Pi 516GB RAM Nano-168M|Qualcomm IPQ60103GB RAM Qwen3-0.6B|Allwinner A7331GB RAM Nano-168M|
|:--:|:--:|:--:|
|STM32-MP135512MB RAM Nano-168M|ESP32 + 可视化演示8MB PSRAM Psycho-230K|5个ESP32-S3组成的集群8MB PSRAM Psycho-230K|
|自研Scheme解释器Psycho-230K|浏览器 (WASM)Nano-168M|ESP32-S316MB PSRAM Psycho-230K|

 通用CPU推理

基于karpathy/llama2.c实现的纯C语言推理引擎。支持FP32(W32A32)、Q80(W8A32)、Q4K(W4A32)等量化方式。依赖很少,容易移植,可部署于各类设备,如树莓派、路由器、单片机、PC、服务器等。除了Nano,还适配了Qwen2-0.5B、Qwen3-0.6B/1.7B/4B,以及采用 Gated DeltaNet 线性注意力与全注意力混合架构的 Qwen3.5-0.8B。

提供3种形态:Nano-CLI(终端交互)、Nano-WSS(WebSocket服务端)和Nano-Pod(有键盘输入和GUI的,能够语音输入输出的电子鹦鹉笼)。在infer目录下,执行make进行构建,构建得到的二进制文件位于infer/bin目录。执行以下命令以启动推理:

- Nano-CLI:OMP_NUM_THREADS=N ./bin/nano_cli
- Nano-WSS:OMP_NUM_THREADS=N ./bin/nano_wss  -n  -P 
- Nano-Pod:OMP_NUM_THREADS=N ./bin/nano_pod

上面命令中的N是线程数,需通过实验确定最佳数值。二进制模型文件的转换方式详见下文,可将Nano的pickle模型和Qwen2、Qwen3的HuggingFace模型转换为推理引擎可接受的二进制模型文件,文件内嵌词表。

 [!NOTE]
 注意:默认开启最高级别优化-Ofast。实测发现,在某些情况下会导致推理出错,可能与浮点运算不稳定有关。如果遇到这种问题,请降低优化级别。

Nano-Pod的详细安装部署文档详见此处。

! 

 基于浏览器WASM的CPU推理

基于WASM和JavaScript分别实现的推理引擎。其中WASM推理引擎是由通用CPU推理引擎(C语言实现)编译得到。JavaScript实现的推理引擎只支持FP32精度。仓库中已经提供了编译好的WASM二进制文件,可以开箱即用。

- 访问在线体验页面,或者用浏览器直接打开Nano/infer/web/index.html。
- 手动下载基座模型、指令

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON