上文提到了一个高效的树集成算法Xgboost模型，但是在处理特征维度和数据量较大的数据时，效率仍然是低迷的。相比于GBDT和Xgboost等模型，微软开源的Lightgbm模型采用了各种手段来降低数据量和数据特征维度，从而大大提高了模型的训练速度也确保了准确率。 How to do 为了降低因大量的实例数和较高的特征维度对模型训练的影响，一个自然的想法就是减少数据实例数和特征维度。而Lightgbm模型采取的方案分别为：Gradient-based One-Side Sampling(GOSS)和Exclusive Feature Bundling(EFB)。 ...
今天想起好久都没更新过我的博客了，最近都在忙着笔试面试之类的，还要毕业设计。刚好今天告一段落了，索性整理一下前几天复习的Xgboost模型，发一篇博文。 ...
CTR(点击率)预测在内容推荐投放中有着重要地位，而FFM模型擅长于处理这方面的数据，FFM模型是FM模型的变种，或者说FM模型是FFM模型的特例 ...
决策树，一种常见的机器学习方法，有种类似于流程图那样的。就是对一个样本按其某个特征的取值将其划分到一个集合中，并递归下去 基本算法 Input: 训练集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}$; 属性集$A=\\{a_1,a_2,...,a_d\\}$ ...