项目概述

京东作为中国最大的自营式电商，在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何从历史数据中找出规律，去预测用户未来的购买需求，让最合适的商品遇见最需要的人，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 以京东商城真实的用户、商品和行为数据（脱敏后）为基础，通过数据挖掘的技术和机器学习的算法，构建用户购买商品的预测模型，输出高潜用户和目标商品的匹配结果，为精准营销提供高质量的目标群体。

算法原理

XGBoost是数据挖掘类竞赛中经常使用的一大利器，它帮助选手在Kaggle、阿里天池大数据比赛等比赛取得了很好的成绩。XGBoost被很多人使用，但很少人知道其原理，前几天看了一下陈天奇大神的论文有了更多的理解。XGBoost是基于GBDT(Gradient Boosting Decision Tree) 改进而来的，本文将对XGBoost算法原理进行介绍，主要通过以下几个部分进行介绍：boosted trees、目标函数正则化、节点切分算法。

1. Boosted trees

Boosted trees是一种集成方法，Boosting算法是一种加法模型(additive training)，定义如下：

这里K是树的棵数，f(x)是函数空间中的一个函数：

q(x)表示将样本x分到了某个叶子节点上，w是叶子节点的分数（leaf score）

下面通过一个具体的例子来说明：预测一个人是否喜欢电脑游戏，下图表明小男孩更喜欢打游戏。

2. 目标函数正则化

XGBoost使用的目标函数如下：

我们可以看出XGBoost在GBDT的误差函数基础上加入了L1和L2正则项，其中Loss函数可以是平方损失或逻辑损失，T代表叶子节点数，w代表叶子节点的分数。加入正则项的好处是防止过拟合，这个好处是由两方面体现的：一是预剪枝，因为正则项中有限定叶子节点数；二是正则项里leaf scroe的L2模平方的系数，对leaf scroe做了平滑。

接下来我们对目标函数进行目标函数的求解：

该目标函数表示：第i样本的第t次迭代误差函数，后面的推导基于上式。这种学习方式已经从函数空间转到了函数空间：

下面对目标函数进行泰勒公式二级展开、化简：

如果确定了树的结构，为了使目标函数最小，可以令其导数为0，解得每个叶节点的最优预测分数为：

代入目标函数，解得最小损失为：

3. 节点切分算法

注： 近似算法中使用到了分位数，关于分位数的选取，论文提出了一种算法Weighted Quantile Sketch 。XGBoost不是按照样本个数进行分位，而是以二阶导数为权重

4.其他
在实际工作中，大多数输入是稀疏的。造成稀疏的原因有很多种，比如：缺失值、one-hot编码等。因此，论文提出为树中的节点设置一个默认方向来应对稀疏输入。论文实验表明稀疏感知算法 要比传统方法快50倍，算法如下：

数据挖掘流程

1.数据清洗

数据集

• 这里涉及到的数据集是京东最新的数据集：
• JData_User.csv 用户数据集 105,321个用户
• JData_Comment.csv 商品评论 558,552条记录
• JData_Product.csv 预测商品集合 24,187条记录
• JData_Action_201602.csv 2月份行为交互记录 11,485,424条记录
• JData_Action_201603.csv 3月份行为交互记录 25,916,378条记录
• JData_Action_201604.csv 4月份行为交互记录 13,199,934条记录

为了能够进行上述清洗,在此首先构造了简单的用户(user)行为特征和商品(item)行为特征,对应于两张表user_table和item_table

user_table¶

• user_table特征包括:
• user_id(用户id),age(年龄),sex(性别),
• user_lv_cd(用户级别),browse_num(浏览数),
• addcart_num(加购数),delcart_num(删购数),
• buy_num(购买数),favor_num(收藏数),
• click_num(点击数),buy_addcart_ratio(购买加购转化率),
• buy_browse_ratio(购买浏览转化率),
• buy_click_ratio(购买点击转化率),
• buy_favor_ratio(购买收藏转化率)

user_table前面5条数据如下表所示：

item_table特征包括:

• sku_id(商品id),attr1,attr2,
• attr3,cate,brand,browse_num,
• addcart_num,delcart_num,
• buy_num,favor_num,click_num,
• buy_addcart_ratio,buy_browse_ratio,
• buy_click_ratio,buy_favor_ratio,
• comment_num(评论数),
• has_bad_comment(是否有差评),
• bad_comment_rate(差评率)

item_table前面5条数据如下表所示：

用户数据清洗

统计用户信息

由上述统计信息发现： 第一行中根据User_id统计发现有105321个用户，发现有3个用户没有age,sex字段，而且根据浏览、加购、删购、购买等记录却只有105180条记录，说明存在用户无任何交互记录，因此可以删除上述用户。

删除没有age,sex字段的用户，删除无交互记录的用户，删除爬虫及惰性用户，删除无购买记录的用户，统计用户信息如下：

最后这29070个用户为最终预测用户数据集

2.数据探索

周一到周日各天购买情况

一个月中各天购买量

2月

3月

4月

周一到周日商品类别销售情况

每月各类商品销售情况（只关注商品8）

3.特征工程

评论特征：

• 分时间段，
• 对评论数进行独热编码

行为特征：

• 分时间段
• 对行为类别进行独热编码
• 分别按照用户-类别行为分组和用户-类别-商品行为分组统计，然后计算
• 用户对同类别下其他商品的行为计数
• 不同时间累积的行为计数（3,5,7,10,15,21,30

累积用户特征：

• 分时间段
• 用户不同行为的
• 购买转化率
• 均值

用户近期行为特征：

• 在上面针对用户进行累积特征提取的基础上，分别提取用户近一个月、近三天的特征，然后提取一个月内用户除去最近三天的行为占据一个月的行为的比重

用户对同类别下各种商品的行为:

• 用户对各个类别的各项行为操作统计
• 用户对各个类别操作行为统计占对所有类别操作行为统计的比重

4.xgboost模型

训练数据集部分数据如下：

测试数据集部分数据如下：

模型训练信息如下：

Will train until eval-auc hasn't improved in 10 rounds.
[1]	train-auc:0.948637	eval-auc:0.942691
[2]	train-auc:0.94976	eval-auc:0.942787
[3]	train-auc:0.955299	eval-auc:0.950353
[4]	train-auc:0.957374	eval-auc:0.951207
......
[263]	train-auc:0.992454	eval-auc:0.974031
[264]	train-auc:0.992513	eval-auc:0.974034
[265]	train-auc:0.992531	eval-auc:0.974071
Stopping. Best iteration:
[255]	train-auc:0.992115	eval-auc:0.974271

模型评估信息：

所有用户中预测购买商品的准确率为 0.556910569105691
所有用户中预测购买商品的召回率0.9513888888888888
F11=0.5755395683453236
F12=0.7413419913419912
score=0.6750210221433242