admin管理员组文章数量:1602097
记录一次pyspark数据插入到hive表里
net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for json.decoder.JSONDecodeError)
大概意思就是,我约定了表的数据类型。但是插入的数据有不符合的该数据类型的数据。
spark-numpy-问题-expected zero arguments for construction of ClassDict (for numpy.dtype) - 知乎
搜了一下解决方案,基本都是说把返回值包成指定类型。但我包了之后问题依然存在。
bug调试:
注释了本次新增逻辑,然后跑纯取纯插的代码,发现没问题。
但是通过url调用ocr结果,一加这个逻辑就err了。
最终定位到 get_ocr_res()方法,少加了一个try-catch,加上try-catch之后就ok了。
!! try-catch是很重要的!请求接口的时候没返回==200的判断,造成有error。
但把方法封装进pyspark里,报错又定位不到。大坑。。。查了3H
本文标签: expectedpysparkargumentsClassDictconstruction
版权声明:本文标题:【pyspark】expected zero arguments for construction of ClassDict 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1728397068a1157133.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论