国内用户利用 HuggingFace 官方的下载工具 huggingface-cli 和 hf_transfer 从 Huggingface 镜像站上对HuggingFace上的模型和数据集进行高速下载。
Quick Start
(1)clone项目到本地:
git clone https://github.com/LetheSec/HuggingFace-Download-Accelerator.git
cd HuggingFace-Download-Accelerator(2)去HuggingFace上获取到想要的模型或数据集名称,例如 lmsys/vicuna-7b-v1.5,运行脚本进行下载:
python hf_download.py --model lmsys/vicuna-7b-v1.5 --save_dir ./hf_hub- 由于使用了hf_transfer,所以不显示下载进度条是正常的;如果想显示进度条,可以设置
--use_use_hf_transfer False,但会降低下载速度。 - 下载后的文件将存储在指定的
save_dir中,即./hf_hub/models--lmsys--vicuna-7b-v1.5。
(3)使用 transformers 库加载下载的模型时,指定保存后的路径即可:
from transformers import pipeline
pipe = pipeline("text-generation", model="./hf_hub/models--lmsys--vicuna-7b-v1.5")(4)下载数据集同理,以zh-plus/tiny-imagenet为例:
python hf_download.py --dataset zh-plus/tiny-imagenet --save_dir ./hf_hub