admin管理员组

文章数量:1590164

这里写自定义目录标题

    • CUDA报错
    • 解决方法

CUDA报错

最近在win10系统中,使用transformers库进行进行模型推理时,遇到了一个问题:

File ‘bitsandbytes/cextension.py’, line 20, in raise RuntimeError(‘’’
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
‘’')

尝试了bitsandbytes0.38.1、bitsandbytes0.39.0、bitsandbytes==0.37.2三个版本均仍报错。结合错误报错,原因是电脑CUDA版本较低(11.1),与bitsandbytes与CUDA版本的不兼容。

解决方法

卸载bitsandbytes即可运行。若需要使用bitsandbytes,或可尝试更低版本的bitsandbytes或尝试使用显卡支持的更高版本的cuda
我使用的transformers 版本:4.26.0

本文标签: 报错TransformersbitsandbytesCUDA