shibing624 /MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型,实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO、GRPO。

★ 5,896⑂ 803👁 39⑃ 41● 455▤ 17
PythonApache-2.0Created 2023-06-02
Download: v2.7.0v2.7.0 ↓2.7.02026-04-20
+1
Daily
5,896
stars
803
forks
39
watchers
41
prs
455
issues
17
releases

README

🇨🇳中文 | 🌐English | 📖文档/Docs | 🤖模型/Models


  
    
  


-----------------

 MedicalGPT: Training Medical GPT Model








 📖 Introduction

MedicalGPT training medical GPT model with ChatGPT training pipeline, implemantation of Pretraining,
Supervised Finetuning, RLHF(Reward Modeling and Reinforcement Learning), DPO(Direct Preference Optimization)
and standalone OPD(On-Policy Distillation).

MedicalGPT 训练医疗大模型,实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)、DPO(直接偏好优化)
和独立OPD(On-Policy Distillation)。



- RLHF training pipeline来自Andrej Karpathy的演讲PDF State of GPT,视频 Video
- DPO方法来自论文Direct Preference Optimization:Your Language Model is Secretly a Reward Model
- ORPO方法来自论文ORPO: Monolithic Preference Optimization without Reference Model

 🔥 News
[2026/04/20] v2.7版本:支持了 OPD(On-Policy Distillation) 蒸馏训练,新增独立 training/opd_training.py 训练入口、scripts/run_opd.sh 启动脚本,并补充了OPD参数与使用文档,详见Release-v2.7

[2026/04/09] v2.6版本:支持了 [Agent工具调用/Function Call] 模型微调训练,新增了支持不同模型的工具数据格式转换和解析代码。并在 data 目录下补充了 toolcall 数据样例。详见Release-v2.6

[2026/04/07] v2.5版本:支持了 Qwen3.5 系列模型(包括Base、Instruct和MoE变体),PT/SFT/DPO/ORPO/GRPO全流程适配,新增qwen3、qwen3_5、qwen3_nothink、qwen3_5_nothink对话模板,支持DeepSpeed ZeRO-3 MoE训练,详见Release-v2.5

[2025/04/18] v2.4版本:支持了LoRA和全参的 GRPO 训练方法,GRPO通过纯RL方法可以体验aha moment,详见Release-v2.4

[2024/09/21] v2.3版本:支持了 Qwen-2.5 系列模型,详见Release-v2.3

[2024/08/02] v2.2版本:支持了角色扮演模型训练,新增了医患对话SFT数据生成脚本role_play_data,支持OpenAI、豆包、MiniMax等多种LLM Provider,详见Release-v2.2

展开日志

[2024/06/11] v2.1版本:支持了 Qwen-2 系列模型,详见Release-v2.1

[2024/04/24] v2.0版本:支持了 Llama-3 系列模型,详见Release-v2.0

[2024/04/17] v1.9版本:支持了 ORPO,详细用法请参照 scripts/run_orpo.sh。详见Release-v1.9

[2024/01/26] v1.8版本:支持微调Mixtral混合专家MoE模型 Mixtral 8x7B。详见Release-v1.8

[2024/01/14] v1.7版本:新增检索增强生成(RAG)的基于文件问答ChatPDF功能,代码demo/chatpdf.py,可以基于微调后的LLM结合知识库文件问答提升行业问答准确率。详见Release-v1.7

[2023/10/23] v1.6版本:新增RoPE插值来扩展GPT模型的上下文长度;针对LLaMA模型支持了FlashAttention-2和LongLoRA 提出的 $S^2$-Attn;支持了NEFTune给embedding加噪训练方法。详见Release-v1.6

[2023/08/28] v1.5版本: 新增DPO(直接偏好优化)方法,DPO通过直接优化语言模型来实现对其行为的精确控制,可以有效学习到人类偏好。详见Release-v1.5

[2023/08/08] v1.4版本: 发布基于ShareGPT4数据集微调的中英文Vicuna-13B模型shibing624/vicuna-baichuan-13b-chat,和对应的LoRA模型shibing624/vicuna-baichuan-13b-chat-lora,详见Release-v1.4

[2023/08/02] v1.3版本: 新增LLaMA, LLaMA2, Bloom, ChatGLM, ChatGLM2, Baichuan模型的多轮对话微调训练;新增领域词表扩充功能;新增中文预训练数据集和中文ShareGPT微调训练集,详见Release-v1.3

[2023/07/13] v1.1版本: 发布中文医疗LLaMA-13B模型shibing624/ziya-llama-13b-medical-merged,基于Ziya-LLaMA-13B-v1模型,SFT微调了一版医疗模型,医疗问答效果有提升,发布微调后的完整模型权重,详见Release-v1.1

[2023/06/15] v1.0版本: 发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora,基于Ziya-LLaMA-13B-v1模型,SFT微调了一版医疗模型,医疗问答效果有提升,发布微调后的LoRA权重,详见Release-v1.0

[2023/06/05] v0.2版本: 以医疗为例,训练领域大模型,实现了四阶段训练:包括二次预训练、有监督微调、奖励建模、强化学习训练。详见Release-v0.2




 😊 Features


基于ChatGPT Training Pipeline,本项目实现了领域模型--医疗行业语言大模型的训练:


- 第一阶段:PT(Continue PreTraining)增量预训练,在海量领域文档数据上二次预训练GPT模型,以适应领域数据分布(可选)
- 第二阶段:SFT(Supervised Fine-tuning)有监督微调,构造指令微调数据集,在预训练模型基础上做指令精调,以对齐指令意图,并注入领域知识
- 第三阶段
  - RLHF(Reinforcement Learning from Human Fee

Top issues

Latest release

v2.7.0 2.7.0 2026-04-20
What's New
- 支持独立 OPD(On-Policy Distillation) 蒸馏训练
- 新增 training/opd_training.py 训练入口,基于 TRL GKDTrainer 实现 student/teacher 蒸馏
- 新增 scripts/run_opd.sh 启动脚本,可直接复用现有 ShareGPT/SFT 数据格式
- 补充 README 与训练参数文档,说明 OPD 参数、部署方式与 teacher/student 使用建议
- 依赖升级到 trl=0.29.0 以支持 GKDTrainer

 Notes
- OPD v1 为独立训练链路,不改动现有 PPO/GRPO 主流程
- 训练产物与 SFT/LoRA 一样可独立部署或合并后部署

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON