admin管理员组文章数量:1544874
前言
在使用Huggingface的过程中，有时我们可能会遇到无法访问官方网站huggingface.co的情况，这可能是由于网络监管或者网络连接问题所致。然而，幸运的是，我们可以通过hf-mirror这个Huggingface镜像站来解决这个问题。本篇博客将详细介绍hf-mirror网站的内容和使用方法。
hf-mirror是什么？
hf-mirror是Huggingface的镜像网站，它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器，可以帮助我们绕过无法访问huggingface.co的限制，正常地获取所需的模型和数据集。
hf-mirror的特点和优势
- 支持断点续传：使用hf-mirror下载模型时，如果网络中断，我们可以通过断点续传功能避免文件损坏，从而节省时间和流量。
- 多文件并行下载：hf-mirror默认支持多文件并行下载，这意味着我们可以更快地下载所需的模型和数据集。
- 支持Gated Model下载：对于需要登录的模型（Gated Model），我们可以通过添加–token hf_***参数来进行下载，其中hf_***是访问令牌，可以在huggingface官网获取。
使用hf-mirror下载模型的步骤
- 安装依赖：首先，我们需要安装
huggingface-cli命令行工具，可以使用以下命令进行安装：pip install -U huggingface_hub。 - 设置镜像endpoint：在下载模型之前，我们需要设置镜像endpoint，可以使用以下命令进行设置：
export HF_ENDPOINT=https://hf-mirror。 - 下载模型：使用huggingface-cli的download命令可以下载模型，例如：
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m。
其他使用方式
- 下载需要登录的模型以及使用脚本下载等方法详见参考链接[2]。
- 根目录
.cache空间不足时使用--cache-dir传参更改下载缓存路径，例如：
huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-xl-base-1.0 --local-dir stabilityai --cache-dir stabilityai.cache
- 使用Python脚本下载时，在
import huggingface库相关语句之前执行环境设置。
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror'
from huggingface_hub import hf_hub_download
- 更多功能支持可查阅
huggingface-cli download --help
总结
hf-mirror是Huggingface的镜像网站，为用户提供了一个备用的访问通道，解决了无法访问huggingface.co的问题。通过hf-mirror，我们可以正常地下载所需的模型和数据集，享受Huggingface提供的强大功能。
版权说明
本文为原创文章，部分内容基于GPT工具撰写，独家发布在blog.csdn/TracelessLe。未经个人允许不得转载。如需帮助请email至tracelessle@163或扫描个人介绍栏二维码咨询。
参考资料
[1] 如何看待huggingface.co已无法访问？ - 知乎
[2] hf-mirror - Huggingface 镜像站
[3] 第十五篇-推荐-Huggingface-镜像-2023-10_huggingface镜像-CSDN博客
[4] huggingface stabilityai/stable-diffusion-xl-base-1.0
[5] 如何快速下载huggingface大模型
本文标签： 镜像资源Huggingfacemirrorhf
版权声明：本文标题：使用Huggingface镜像站hf-mirror.com下载资源 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1727148307a1099386.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论