加载中...

HuggingFace 国内高速下载

国内用户利用 HuggingFace 官方的下载工具 huggingface-clihf_transferHuggingface 镜像站上对HuggingFace上的模型和数据集进行高速下载。

Quick Start

(1)clone项目到本地:

git clone https://github.com/LetheSec/HuggingFace-Download-Accelerator.git
cd HuggingFace-Download-Accelerator

(2)去HuggingFace上获取到想要的模型或数据集名称,例如 lmsys/vicuna-7b-v1.5,运行脚本进行下载:

python hf_download.py --model lmsys/vicuna-7b-v1.5 --save_dir ./hf_hub
  • 由于使用了hf_transfer,所以不显示下载进度条是正常的;如果想显示进度条,可以设置 --use_use_hf_transfer False,但会降低下载速度。
  • 下载后的文件将存储在指定的save_dir中,即 ./hf_hub/models--lmsys--vicuna-7b-v1.5

(3)使用 transformers 库加载下载的模型时,指定保存后的路径即可:

from transformers import pipeline
pipe = pipeline("text-generation", model="./hf_hub/models--lmsys--vicuna-7b-v1.5")

(4)下载数据集同理,以zh-plus/tiny-imagenet为例:

python hf_download.py --dataset zh-plus/tiny-imagenet --save_dir ./hf_hub