告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验

admin管理员组

文章数量:1542466

告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验

Huggingface国内开源镜像：https://hf-mirror/

里面总结了很多下载的方法，下面进行一一讲解

方法一：网页下载

在模型主页的Files and Version中中可以获取文件的下载链接。无需登录直接点击下载，还可以复制下载链接，用其他下载工具下载。

方法二：huggingface-cli(🔺)

• 详解地址：https://hf-mirror/docs/huggingface_hub/guides/download#download-from-the-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. ** 安装依赖**

创建项目的虚拟环境后，激活该环境并执行：

pip install -U huggingface_hub

可以运行huggingface-cli download --h命令来查看download功能的参数，如下图

1. 设置环境变量

• Linux

export HF_ENDPOINT=https://hf-mirror.com

• Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror"

• python

import osos.environ['HF_ENDPOINT'] = 'https://hf-mirror'

建议将上面这一行写入 ~/.bashrc。

vim ~/.bashrcexport HF_ENDPOINT=https://hf-mirrorsource ~/.bashrc

1. 下载模型

以下载Qwen/Qwen2-7B-Instruct模型为例，模型地址：https://huggingface.co/Qwen/Qwen2-7B-Instruct，运行以下命令

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得

#以下命令都可huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen2-7B-Instruct --local-dir /www/algorithm/agent/Qwen2-7B-Instructhuggingface-cli download --resume-download Qwen/Qwen2-7B-Instruct --local-dir /www/algorithm/agent/Qwen2-7B-Instruct --local-dir-use-symlinks False --token hf_*****#huggingface-cli download --resume-download gpt2 --local-dir gpt2

huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/glm-4-9b-chat --local-dir /www/algorithm/agent/glm-4-9b-chat

下载的挺快的7B大模型大概7-8min就下载完成

1. 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

方法三：专用多线程下载器 hfd

常规工具如浏览器默认采用单线程下载，由于国内网络运营商线路质量、QoS等因素有时候会很慢，多线程加速是一种有效、显著提高下载速度的方法。

经典多线程工具推荐两个：IDM、Aria2。IDM 适用于 Windows、aria2 适用于 Linux。因此获取URL后，可以利用这些多线程工具来下载。以我的一次实测为例，单线程700KB/s，IDM 8线程 6MB/s。千兆宽带下，利用IDM能跑到80MB/s+。

hfd 是基于 Git 和 aria2 实现的专用于huggingface 下载的命令行脚本：hfd.sh（Gitst链接）。hfd 相比 huggingface-cli ，鲁棒性更好，很少会有奇奇怪怪的报错，此外多线程控制力度也更细，可以设置线程数量。

• 具体步骤：

• • Step1：Git clone 项目仓库中lfs文件之外的所有文件，并自动获取 lfs 文件的 url；
  • Step2：利用 aria2 多线程下载文件。

hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。

1. 下载 hfd

wget https://hf-mirror/hfd/hfd.shchmod a+x hfd.shfind . -name hfd.sh #查看文件位置依赖安装：sudo apt-get install aria2

• 下载Git LFS 下载Git LFS的最新版本。可以在Git LFS的官方网站上找到最新版本的下载链接。在Ubuntu系统上，可以使用以下命令下载Git LFS：

apt-get install git-lfs

1. 设置环境变量

• Linux

export HF_ENDPOINT=https://hf-mirror

• Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror"

1. 下载模型

模型网址：THUDM/glm-4-9b-chat，https://hf-mirror/THUDM/glm-4-9b-chat/tree/main

./hfd.sh gpt2 --tool aria2c -x 4

1. ** 下载数据集**

./hfd.sh wikitext --dataset --tool aria2c -x 4

如果没有安装 aria2，则可以默认用 wget：

• 完整命令格式：

$ ./hfd.sh -hUsage:hfd <model_id> [--include include_pattern] [--exclude exclude_pattern] [--hf_username username] [--hf_token token] [--tool wget|aria2c] [-x threads] [--dataset]Description:使用提供的模型ID从Hugging Face下载模型或数据集。Parameters:model_id Hugging Face模型ID，格式为'repo/model_name'。--include （可选）标志，用于指定要包括在下载中的文件的字符串模式。--exclude （可选）标志，用于指定要从下载中排除的文件的字符串模式。exclude_pattern 匹配文件名以排除的模式。--hf_username （可选）Hugging Face用户名，用于身份验证。--hf_token （可选）Hugging Face令牌，用于身份验证。--tool （可选）使用的下载工具。可以是wget（默认）或aria2c。-x （可选）aria2c的下载线程数。--dataset （可选）标志，表示下载数据集。示例：hfd bigscience/bloom-560m --exclude safetensorshfd meta-llama/Llama-2-7b --hf_username myuser --hf_token mytoken --tool aria2c -x 8hfd lavita/medical-qa-shared-task-v1-toy --dataset

方法四：使用环境变量（非侵入式）

非侵入式，能解决大部分情况。huggingface 工具链会获取HF_ENDPOINT环境变量来确定下载文件所用的网址，所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror python your_script.py

不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。

常见问题:

Q1: 有些项目需要登录，如何下载？

A：部分 Gated Repo 需登录申请许可。为保障账号安全，本站不支持登录，需先前往 Hugging Face 官网登录、申请许可，在官网这里获取 Access Token 后回镜像站用命令行下载。
部分工具下载 Gated Repo 的方法：

huggingface-cli：添加--token参数

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

hfd：添加--hf_username``--hf_token参数

hfd meta-llama/Llama-2-7b --hf_username YOUR_HF_USERNAME --hf_token hf_***

其余如from_pretrained、wget、curl如何设置认证 token。

Q2:不推荐 Git clone原因

此外官方还提供了 git clone repo_url 的方式下载，这种方法相当简单，然而却是最不推荐直接用的方法，缺点有二：

1. 不支持断点续传，断了重头再来；
2. clone 会下载历史版本占用磁盘空间，即使没有历史版本，.git文件夹大小也会存储一份当前版本模型的拷贝以及元信息，导致整个模型文件夹磁盘占用两倍以上，对于有些存在历史版本的模型，下载时间两倍以上，对于网络不够稳，磁盘不够大的用户，严重不推荐！

Q3:其他方法推荐（🔺）

可以去其他平台下载：

• ollama

网址：https://ollama/library

• 魔塔社区

网址：https://www.modelscope/models

• 参考链接

• • https://hf-mirror/
  • https://zhuanlan.zhihu/p/663712983

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型各大场景实战案例

结语

【一一AGI大模型学习 所有资源获取处（无偿领取）一一】
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

本文标签： 高效难题模型畅享策略