是新朋友吗？记得先点蓝字关注我哦～

作者介绍

知乎@王多鱼

京东的一名推荐算法攻城狮。

主要负责商品推荐的召回和排序模型的优化工作。

一、GBDT算法原理

Gradient Boosting Decision Tree（GBDT）是梯度提升决策树。GBDT模型所输出的结果是由其包含的若干棵决策树累加而成，每一棵决策树都是对之前决策树组合预测残差的拟合，是对之前模型结果的一种“修正”。梯度提升树既可以用于回归问题（此时被称为CART回归树），也可以被用于解决分类问题（此时被称为分类树）。

举个简单的例子：假如大华30岁，第一棵树拟合出的年龄为20岁，此时差距为10岁；第二棵树拟合的年龄为6岁，此时差距还有4岁；第三棵树拟合的年龄为3岁，此时的差距就只有1岁了。每一轮迭代，拟合的岁数误差都会减小。

在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是Fm-1(x)，损失函数是L(y,Fm-1(x))，本轮迭代的目标是找到一个CART回归树模型的弱学习器hm(x)，让本轮的损失函数L(y,Fm-1(x))=L(y,Fm-1(x)+hm(x))最小。即在本轮迭代中找到一颗决策树，使得样本的损失尽量变得更小。

怎么找到本轮中的决策树是关键，GBDT是利用损失函数在当前模型的负梯度作为提升树算法的残差近似值, 去拟合一棵树。即：

GBDT算法步骤如下：

我们需要做的是计算rim，即计算公式(1)作为第m棵树样本新的label, 将数据(xi,rim(x))作为第m棵树的训练数据。通过使用 CART 回归树逼近rim，使得CART 回归树模型与label 之间的距离尽可能的接近。衡量距离有多种方式, 包括均方误差和Logloss。

下面给出 Logloss 损失函数的具体推导：

Step1：首先求解初始值F0 , 令其偏导等于 0。实现后是第一棵树需要拟合的残差。

令：

即得：

假设训练集中有m个正样本，n个负样本，此时上式可以化简为：

推出：

得到：

y样本的均值，得：

同理，当分析回归问题、损失函数为均方误差时，

推导出：

Step2：计算rim，并用决策树进行拟合。rim是损失函数的负梯度，实现时是第 m 棵树需要拟合的残差, 即新的 label 值。

Step3：利用(x1,rim(x)),(i=1,2,……,N)数据集, 拟合一棵 CART 回归树, 即得到第 m棵回归树。得到回归树的叶节点区域γjm,j=1,2,……，J。其中J为叶子节点的个数。针对每一个叶子节点里的样本, 我们求出使损失函数最小, 即拟合叶子节点最好的的输出值γjm。

使用牛顿法求解下降方向步长, 即γjm是拟合的步长, 实现时是第m棵树节点j的预测值。

Step4：预测时只需要把每棵树的预测值乘以缩放因子ν，然后相加即可得到最终的预测值。

若需要将预测值输出到区间 [0,1] , 作如下转换：

GBDT 因为其的有效性、准确性、可解释性, 在多分类、点击预测、排序方面成为了广泛使用的机器学习算法。

二、GBDT模型的应用

下面对GBDT做简单的实现。

（1）加载需要的python模块

1.import pandas as pd

2.import numpy as np

3.import pydotplus

4.

5.from sklearn.ensemble import GradientBoostingClassifier

6.from sklearn import metrics

7.from sklearn.externals.six import StringIO

8.from sklearn import tree

（2）数据集信息

数据集如下，其中 train_modified.csv下载地址为：

1.train = pd.read_csv('train_modified.csv')

2.

3.target='Disbursed'

4.IDcol = 'ID'

5.

6.x_columns = [x for x in train.columns if x not in [target, IDcol]]

7.

8.X = train[x_columns]

9.y = train['Disbursed']

10.

11.print(train[:10])

特征共计49个，详细信息如下：

1 ['Existing_EMI',

2 'Loan_Amount_Applied',

3 'Loan_Tenure_Applied',

4 'Monthly_Income',

5 'Var4',

6 'Var5',

7 'Age',

8 'EMI_Loan_Submitted_Missing',

9 'Interest_Rate_Missing',

10 'Loan_Amount_Submitted_Missing',

11 'Loan_Tenure_Submitted_Missing',

12 'Processing_Fee_Missing',

13 'Device_Type_0',

14 'Device_Type_1',

15 'Filled_Form_0',

16 'Filled_Form_1',

17 'Gender_0',

18 'Gender_1',

19 'Var1_0',

20 'Var1_1',

21 'Var1_2',

22 'Var1_3',

23 'Var1_4',

24 'Var1_5',

25 'Var1_6',

26 'Var1_7',

27 'Var1_8',

28 'Var1_9',

29 'Var1_10',

30 'Var1_11',

31 'Var1_12',

32 'Var1_13',

33 'Var1_14',

34 'Var1_15',

35 'Var1_16',

36 'Var1_17',

37 'Var1_18',

38 'Var2_0',

39 'Var2_1',

40 'Var2_2',

41 'Var2_3',

42 'Var2_4',

43 'Var2_5',

44 'Var2_6',

45 'Mobile_Verified_0',

46 'Mobile_Verified_1',

47 'Source_0',

48 'Source_1',

49 'Source_2']

（3）训练模型

1.gbdt_model = GradientBoostingClassifier(learning_rate=0.005,

2. n_estimators=1200,

3. max_depth=7,

4. min_samples_leaf =60,

5. min_samples_split =1200,

6. max_features=9,

7. subsample=0.7,

8. random_state=10)

9.

10.gbdt_model.fit(X,y)

11.

12.y_pred = gbdt_model.predict(X)

13.y_pred_prob = gbdt_model.predict_proba(X)[:,1]

14.

15.print("Accuracy : %.4g" % metrics.accuracy_score(y.values, y_pred))

16.print("AUC Score (Train): %f" % metrics.roc_auc_score(y, y_pred_prob))

17.

18.# Accuracy : 0.984

19.# AUC Score (Train): 0.908232

模型的准确率和AUC指标分别为 0.984 和 0.9082，效果还不错。感兴趣的小伙伴可以尝试调整参数。

（4）特征重要度情况

以下数据列举了每个特征所对应的特征重要度，数值越大，重要度越高。

1 score_feature = gbm.feature_importances_

2 print(score_feature)

3

4

5 """

6 [0.15929728 0.04617883 0.02608923 0.25709074 0.03488485 0.14528308

7 0.06911841 0.00267712 0.00290675 0.00819478 0.00553175 0.00428709

8 0.00861779 0.00927034 0.00676201 0.00652589 0.00667953 0.0060258

9 0.00059827 0.00570858 0.04263685 0.00957521 0. 0.00037965

10 0.00097049 0. 0.01065202 0.00118078 0.00832415 0.01314289

11. 0.00166272 0.00267764 0. 0.01484987 0. 0.

12. 0. 0. 0.00494884 0.00951563 0.00307255 0.00451455

13. 0.00069745 0. 0.00436676 0.00482608 0.03472633 0.00907289

14. 0.00647855]

15. """

（5）绘制树状图

1 dot_data = StringIO()

2 tree.export_graphviz(gbdt_model.estimators_[0,0],

3 out_file = dot_data,

4 node_ids=True,

5 filled=True,

6 rounded=True,

7 special_characters=True)

8

9 graph = pydotplus.graph_from_dot_data(dot_data.getvalue())

10

11 graph.write_pdf("gbdt.pdf")

结果如下：