admin管理员组

文章数量:1650767

xgboost feature_names mismatch的处理方法

1.现象描述

采用xgboost对数据进行训练,得到可以进行推理的模型保存为xgb.pkl,然后对序列化的模型进行加载,对新的数据进行预测出现ValueError: feature_names mismatch。

2.feature_names mismatch出现的原因

原因1: 经过对新的预测数据进行分析发现:在我的预测数据中存在大量为0的值,这些值使预测矩阵变成了稀疏矩阵,而xgboost在预测的时候不接受稀疏矩阵的的输入,才会出现上述的现象。
原因2: 新的预测数据和建模时的数据feature_names不一致造成上述现象。

3.解决方法

# 针对原因1的解决方法
import joblib
import pandas as pd
data = pd.read_csv('predict_data.csv')
model = joblib.load('xgb.pkl')
pred = model.predict(data, validate_features=False)
# 针对原因2的解决方法
import joblib
import pandas as pd
data = pd.read_csv('predict_data.csv')
model = joblib.load('xgb.pkl')
columns_builds = model.get_booster().feature_names
data = data[columns_builds]
pred = model.predict(data)

在其他的文章中也出现了将新的预测数据进行转化等处理方式,如使用toarray()和as_matrix(),但是在我的数据中均不起作用,具体的处理方式还要根据数据情况决定。

转载请注明出处!

本文标签: 方法Xgboostfeaturenamesmismatch