admin管理员组

文章数量:1584354

系统环境

GPU: 3060

CUDA:11.6(确保CUDAcuDNN已安装且添加好环境变量)

操作系统:Win11(Linux的朋友可以参考文末的Issues,再结合GPT相信可以解决的)


问题描述

错误:CUDA Setup failed despite GPU being available. Please run the following   command to get more information

截图:

bitsandbytes主要作用:使用 INT8 量化来加载大模型


原因分析

分析:Bitsandbytes以前是不支持windows的 / CUDA环境问题


解决方案:

python.exe -m pip uninstall bitsandbytes

# 如果有安装
python.exe -m pip uninstall bitsandbytes--windows

pip install https://github/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.1-py3-none-win_amd64.whl

输入命令:

python -m bitsandbytes

如安装成功则:


 推荐参考

官方issues:https://github/TimDettmers/bitsandbytes/issues/305

本文标签: 报错模型pipDiffusionbitsandbytes