+0
Daily
299
stars
14
forks
7
watchers
0
prs
6
issues
0
releases
README
Nano - Cyber Parrot B站视频演示: |树莓派语音对话离线部署|基于自制Scheme解释器的推理|路由器离线部署| |:--:|:--:|:--:| |ESP32单片机集群推理|通过业余无线电C证考试|红米AX5路由器部署推理| 【立即体验浏览器本地推理】 Nano是Transformer结构的语言模型,供个人赏玩、研究、炼丹炉煲机。期望: - 训练实践:实现Transformer语言模型的预训练和监督微调,训练出若干可用的模型。 - 推理实践:在单板机、单片机、浏览器、PC、服务器等各类环境上,高效推理语言模型。 - 开放探索:研究LLM的动力学等问题,开放探索其他模态和领域的问题。 - 硅碳互动:对LLM祛魅,在实践中建立起对于LLM的感性经验、合理预期和哲学认识。 为什么叫“Nano”: - 東雲なの(Shinonome Nano)是动画《日常》中出场的机器人高中生。 - 本仓库主要复刻自Karpathy大佬的nanoGPT。取名Nano也是为了致(chao)敬(xi)nanoGPT。 模型和数据 |模型|说明|领域监督微调模型|LoRA插件| |:---------:|:----:|:-----------:|:-------:| |Nano-Pico|用于验证极低资源推理部署的极小规模模型|无规划|无规划| |Nano-56M|56M参数,包括基础模型和通用问答模型|无规划|无规划| |Nano-168M|168M参数,包括基础模型和通用问答模型|业余无线电操作证考试|暂无公开插件| 其中各尺寸模型的参数如下(在config/model.json中设置): | Model |Nano-168M | Nano-56M | Nano-10M |Psycho-1M |Psycho-230k|Qwen3-0.6B| |:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:| |block_size| 512 | 512 | 512 | 512 | 512 | 40960 | |vocab_size| 16384 | 16384 | 8192 | 4096 | 4096 | 151936 | | n_layer | 24 | 16 | 12 | 16 | 8 | 28 | | n_embd | 768 | 512 | 240 | 64 | 32 | 1024 | | head_dim | 48 | 32 | 20 | 8 | 8 | 128 | | n_head | 16 | 16 | 12 | 8 | 4 | 16 | |n_kv_head | 8 | 8 | 4 | 4 | 2 | 8 | | n_hidden | 2048 | 1408 | 720 | 192 | 96 | 3072 | |tokens@PT| 25.6G | 10.1G | 1.0G | 1.0M | 1.0M | / | | QAs@SFT | 12M | 2M | 1M | N/A | N/A | / | 公开数据集: - 预训练数据(7z压缩包,解压口令“nano”):Nano-PT-10G 适配Nano推理引擎的Qwen2.5/Qwen3模型:bd4sur/Qwen3 探索去噪生成的试验性模型:Nano-Denoise 推理 |Raspberry Pi 516GB RAM Nano-168M|Qualcomm IPQ60103GB RAM Qwen3-0.6B|Allwinner A7331GB RAM Nano-168M| |:--:|:--:|:--:| |STM32-MP135512MB RAM Nano-168M|ESP32 + 可视化演示8MB PSRAM Psycho-230K|5个ESP32-S3组成的集群8MB PSRAM Psycho-230K| |自研Scheme解释器Psycho-230K|浏览器 (WASM)Nano-168M|ESP32-S316MB PSRAM Psycho-230K| 通用CPU推理 基于karpathy/llama2.c实现的纯C语言推理引擎。支持FP32(W32A32)、Q80(W8A32)、Q4K(W4A32)等量化方式。依赖很少,容易移植,可部署于各类设备,如树莓派、路由器、单片机、PC、服务器等。除了Nano,还适配了Qwen2-0.5B、Qwen3-0.6B/1.7B/4B,以及采用 Gated DeltaNet 线性注意力与全注意力混合架构的 Qwen3.5-0.8B。 提供3种形态:Nano-CLI(终端交互)、Nano-WSS(WebSocket服务端)和Nano-Pod(有键盘输入和GUI的,能够语音输入输出的电子鹦鹉笼)。在infer目录下,执行make进行构建,构建得到的二进制文件位于infer/bin目录。执行以下命令以启动推理: - Nano-CLI:OMP_NUM_THREADS=N ./bin/nano_cli - Nano-WSS:OMP_NUM_THREADS=N ./bin/nano_wss -n -P - Nano-Pod:OMP_NUM_THREADS=N ./bin/nano_pod 上面命令中的N是线程数,需通过实验确定最佳数值。二进制模型文件的转换方式详见下文,可将Nano的pickle模型和Qwen2、Qwen3的HuggingFace模型转换为推理引擎可接受的二进制模型文件,文件内嵌词表。 [!NOTE] 注意:默认开启最高级别优化-Ofast。实测发现,在某些情况下会导致推理出错,可能与浮点运算不稳定有关。如果遇到这种问题,请降低优化级别。 Nano-Pod的详细安装部署文档详见此处。 ! 基于浏览器WASM的CPU推理 基于WASM和JavaScript分别实现的推理引擎。其中WASM推理引擎是由通用CPU推理引擎(C语言实现)编译得到。JavaScript实现的推理引擎只支持FP32精度。仓库中已经提供了编译好的WASM二进制文件,可以开箱即用。 - 访问在线体验页面,或者用浏览器直接打开Nano/infer/web/index.html。 - 手动下载基座模型、指令