主要查看了三个文档: DecisionTree, XGBoost, LightGBM.
sklearn中GradientBoostingClassifier(GBDT)和RandomForest没有找到特征重要性计算方法的详述.
Decision Tree
DecisionTree该特征带来的信息增益的总量(需要经过标准化). 也被称为基尼重要性.
XGBoost
XGBoost
- weight: 该特征被选为分裂特征的次数.
- gain: 该特征的带来平均增益(有多棵树).
- cover: 该特征对每棵树的覆盖率.
LightGBM
LightGBM
- split: 使用该特征的次数.
- gain: 该特征的总增益.