admin管理员组文章数量:1550649
家人们来看看是不是报这个 warning:
[W reducer.cpp:283] Warning: Grad strides do not match bucket view strides.
This may indicate grad was not created according to the gradient layout contract,
or that the param's strides changed since DDP was constructed.
This is not an error, but may impair performance.
这里说了这不是个 ERROR, 但可能影响性能,如果诸位时间不是很着急,那就不用管,但是我这里越训练剩余时间越长hhh
(然而之后改进代码,这个warning没了,但是越train剩余时间越长这个问题依旧没有解决)
参考链接:
https://github/pytorch/pytorch/issues/47163
我和这个老哥问题一样:
下边这个自动化所的老哥,给了一种解决方式:
他认为是 transpose 和 permute 操作导致了步长不一致,于是用 contiguous
来让数据在内存中连续
我这样操作了:
在所有的 transpose 和 permute 操作后加上 contiguous
操作,OK,warning消失了,但是时间依旧是越来越长
目前暂未知如何解决
本文标签: MATCHstridesGradBucketcreated
版权声明:本文标题:Grad strides do not match bucket view strides.This may indicate grad was not created according to th 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1727246472a1104683.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论