前言：
如何从头开始训练一个自己的语言模型呢？相信有不少人好奇，现如今大语言模型层出不穷，但都属于大而全的模型。假如有一些私有化的数据，出于安全不想公开。那么训练一个私有化的专用模型，完全可以满足私有化的使用场景岂不是更好。
那么如何自己训练一个语言模型呢？今天给大家分享一个轻量级的语言模型训练项目—Minimind，该项目教你如何从头开始训练一个自己的轻量级语言模型。
背景：
Minimind开源的初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始， 从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！ 最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。
特点：
Minimind项目训练模型简单、提供完整的详细操作步骤。收集、蒸馏、整理并清洗去重所有阶段的高质量数据集，且全部开源。可视化UI界面：支持基于streamlit实现最简聊天WebUI前端，训练完成即可在可视化页面测试效果。同时支持API：实现Openai-Api协议的极简服务端，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。训练：支持单机单卡、单机多卡(DDP、DeepSpeed)训练，支持wandb可视化训练流程。支持动态启停训练。兼容主流框架：同时兼容transformers、trl、peft等第三方主流框架。多种方式支持：从0实现预训练、指令微调、LoRA、DPO强化学习，白盒模型蒸馏。关键算法几乎不依赖第三方封装的框架，且全部开源。开始：
第一步：克隆项目
git clone https://github.com/jingyaogong/minimind.git第二步：环境准备
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple第三步：下载模型
git clone https://huggingface.co/jingyaogong/MiniMind2第四步：命令行问答
# load=0: load from pytorch model, load=1: load from transformers-hf model python eval_model.py --load 1 --model_mode 2或者，你喜欢界面操作可以使用如下命令，启动WebUI界面：
# 可能需要`python>=3.10` 安装 `pip install streamlit` # cd scripts streamlit run web_demo.py模型训练：
前面介绍是使用该项目已经训练好的模型，进行体验效果。下面正式开始介绍如何使用该项目训练自己的模型。
第一步：环境准备
前面的第一步：克隆项目，第二步：环境准备，已经操作过，因此这里不需要再进行操作。前提测试Torch是否可用cuda，以下代码输出为true即可。
import torch print(torch.cuda.is_available())第二步：数据下载
从下文提供的下载链接，下载数据集。 下载需要的数据文件（创建./dataset目录）并放到./dataset下。
https://www.modelscope.cn/datasets/gongjy/minimind_dataset/files注意：默认推荐下载pretrain_hq.jsonl + sft_mini_512.jsonl最快速度复现Zero聊天模型。
数据文件可自由选择，下文提供了多种搭配方案，可根据自己手头的训练需求和GPU资源进行适当组合。
当然你也可以按照该格式，准备自己的数据集。这里只是为了快速训练，方便进行使用开源数据集。
第三步：开始训练
一切准备就绪后，即可开始训练，使用如下脚本进行训练。
python train_pretrain.py或监督微调训练：
python train_full_sft.py第四步：测试模型效果
模型训练结束后，确保需要测试的模型*.pth文件位于./out/目录下。
python eval_model.py --model_mode 1 # 默认为0：测试pretrain模型效果，设置为1：测试full_sft模型效果其他更多，参考官方的详细的说明文档。
