admin管理员组文章数量:1611561
RuntimeError: CUDA out of memory. Tried to allocate 600.00 MiB (GPU 0; 23.69 GiB total capacity; 21.82 GiB already allocated; 115.25 MiB free; 21.87 GiB reserved in total by PyTorch)
运行时错误:CUDA 内存不足。 尝试分配 600.00 MiB(GPU 0;23.69 GiB 总容量;21.82 GiB 已分配;115.25 MiB 空闲;PyTorch 总共保留 21.87 GiB)
原因
出现类似bug的原因是显存不足
解决方法1:释放显存
首先 fuser -v /dev/nvidia*
或 sudo fuser -v /dev/nvidia*
, 查看最近在GPU上运行的进程, 然后sudo kill相关进程号。
其中:
- fuser:可以显示出当前哪个程序在使用磁盘上的某个文件、挂载点、甚至网络端口,并给出程序进程的详细信息
- -v:详细模式
- /dev/nvidia*:所有和英伟达相关的接口(如GPU)
解决方法2:调小batch size
如果释放了部分显存之后还是不够用的话,可以调小batch size
参考:
nvidia gpu kill进程后,显存仍未清
本文标签: allocateMemoryRuntimeErrorCUDAMIB
版权声明:本文标题:RuntimeError: CUDA out of memory. Tried to allocate 600.00 MiB (GPU 0; 23.69 GiB total capacity) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1728620905a1166347.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论