Machine Learning on Simplestory

LightGBM模型

Sun, 24 Mar 2019 00:00:00 +0000

A Highly Efficient Gradient Boosting Decision Tree

Xgboost模型

Sun, 17 Mar 2019 00:00:00 +0000

A Scalabe Tree Boosting Systeam

FFM模型原理

Sun, 28 Oct 2018 00:00:00 +0000

CTR(点击率)预测在内容推荐投放中有着重要地位，而FFM模型擅长于处理这方面的数据，FFM模型是FM模型的变种，或者说FM模型是FFM模型的特例

决策树

Wed, 29 Aug 2018 00:00:00 +0000

决策树，一种常见的机器学习方法，有种类似于流程图那样的。就是对一个样本按其某个特征的取值将其划分到一个集合中，并递归下去

基本算法

Input: 训练集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}$; 属性集$A=\\{a_1,a_2,...,a_d\\}$

Scikit-learn调包合集

Sun, 26 Aug 2018 00:00:00 +0000

这次整理一下常用的scikit-learn包，作为备忘

K近邻算法：

from sklearn.neighbors import KNeighborsClassifier

线性回归：

from sklearn.linear_model import LinearRegression

逻辑回归：

from sklearn.linear_model import LogisticRgression

决策树：

from sklearn.tree import DecisionTreeClassifier

朴素贝叶斯：

高斯分布：from sklearn.neive_bayes import GaussianNB
多项式分布：from sklearn.neive_baybes import MultinomnalNB
伯努利分布：from sklearn.neive_baybes import BernoulliNB

支持向量机：

贝叶斯分类

Sun, 19 Aug 2018 00:00:00 +0000

贝叶斯决策论考虑的是如何基于相关的概率和误判损失来选择最优的类别标记

假设有N种可能的类别标记，即$\mathbf{y}=\\{c_1,c_2,...,c_N\\}$，$\lambda_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P(c_i\vert\mathbf{x})$可获得将样本$\mathbf{x}$分类为$c_i$所产生的期望损失，即在样本$\mathbf{x}$上的“条件风险”：

SVM支持向量机

Thu, 16 Aug 2018 00:00:00 +0000

SVM是机器学习里面一个非常重要的模型，它是由统计学习理论之父弗拉基米尔·瓦普尼克提出的

本文以SVM二分类为例

推导过程

给定训练数据集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}, y_i \in \\{-1, +1\\}$，分类器最基本的想法就是基于训练集D在样本空间中找到一个划分空间，将不同类别的样本分开。划分超平面可用如下的线性方程描述：

线性回归和Logistic回归

Mon, 13 Aug 2018 00:00:00 +0000

好久没更博客了，停了大半年，也看了大半年的机器学习和深度学习方面的书籍，现在是时候输出一下了

线性回归

给定数据集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}$，其中$\mathbf{x_i}=(x_{i1};x_{i2};...;x_{id}), \ y_{i} \in R$. 线性回归试图学得一个线性模型

Opencv实现汽车违规检测识别

Sun, 05 Nov 2017 00:00:00 +0000

Opencv包含了超过2500个函数，几乎任何一个能想到的成熟算法都可以通过调用Opencv的函数来实现，超级方便。这篇博文结合了Python与Opencv来实现在监控视频中识别汽车并检测其是否违规（压双黄线）。