Bloom支持中文的开源大模型，使用Bloomz系列开启“炼丹修仙”。

本文以这个开源项目进行

0.环境安装

强烈建议基于conda进行环境管理，YML格式进行组织，例如：

#environment.yml

name: Belle

channels:

- pytorch

- nvidia

- conda-forge

- defaults

dependencies:

- cudatoolkit=11.6.0

- cupy=10.4.0

- faiss-gpu=1.7.2

- fastparquet=0.5.0

- nccl=2.12.12.1

- pip=22.3.1

- pyarrow=8.0.0

- python=3.10.9

- python-snappy=0.6.1

- pytorch=1.13.1

- pytorch-cuda=11.6

- snappy=1.1.9

- torchaudio=0.13.1

- torchvision=0.14.1

- pip:

- accelerate==0.17.1

- datasets==2.10.1

- loguru==0.6.0

- netifaces==0.11.0

- git+

- git+

- wandb==0.13.10

- zstandard==0.20.0

- deepspeed

- sentencepiece

- bitsandbytes

- datasets

- fire

#执行以下命令安装环境

conda env create -f environment.yml

conda activate Belle

conda install -c nvidia libcusolver-dev

1.准备数据集

执行download_data.py可以将huggingface上对应的公开数据下载本地。可以参考数据格式建造自己的私有专属数据，如下图：

2.微调配置文件

这个项目同时支持微调Bloom+LLaMA,我们以Bloom举例

Bloom_config.json

--调整data_path实际名称路径

output_dir --输出模型地址

deepspeed_config.json ---文件参数就暂时不用修改

3.开启微调Bloom

finetune.py --微调代码

#命令行执行以下路径(Deepspeed框架)

deepspeed --num_gpus=8 finetune.py --model_config_file run_config/Bloom_config.json --deepspeed run_config/deepspeed_config.json

………………………

………………………

………………………

....……………………

等着“炼丹”结束收“娃”吧