2018 on Simplestory

深度学习优化

Sat, 03 Nov 2018 00:00:00 +0000

最优化是一个十分困难的问题，通常要精心设计一个目标函数及相关约束，同时还要确保所要优化的问题为凸函数，但现实中的问题大多为非凸函数，针对非凸优化问题，这里有一些基本的优化方法：SGD、Momentum、AdaGrad、RMSProp及Adam等

FFM模型原理

Sun, 28 Oct 2018 00:00:00 +0000

CTR(点击率)预测在内容推荐投放中有着重要地位，而FFM模型擅长于处理这方面的数据，FFM模型是FM模型的变种，或者说FM模型是FFM模型的特例

决策树

Wed, 29 Aug 2018 00:00:00 +0000

决策树，一种常见的机器学习方法，有种类似于流程图那样的。就是对一个样本按其某个特征的取值将其划分到一个集合中，并递归下去

基本算法

Input: 训练集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}$; 属性集$A=\\{a_1,a_2,...,a_d\\}$

Scikit-learn调包合集

Sun, 26 Aug 2018 00:00:00 +0000

这次整理一下常用的scikit-learn包，作为备忘

K近邻算法：

from sklearn.neighbors import KNeighborsClassifier

线性回归：

from sklearn.linear_model import LinearRegression

逻辑回归：

from sklearn.linear_model import LogisticRgression

决策树：

from sklearn.tree import DecisionTreeClassifier

朴素贝叶斯：

高斯分布：from sklearn.neive_bayes import GaussianNB
多项式分布：from sklearn.neive_baybes import MultinomnalNB
伯努利分布：from sklearn.neive_baybes import BernoulliNB

支持向量机：

贝叶斯分类

Sun, 19 Aug 2018 00:00:00 +0000

贝叶斯决策论考虑的是如何基于相关的概率和误判损失来选择最优的类别标记

假设有N种可能的类别标记，即$\mathbf{y}=\\{c_1,c_2,...,c_N\\}$，$\lambda_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P(c_i\vert\mathbf{x})$可获得将样本$\mathbf{x}$分类为$c_i$所产生的期望损失，即在样本$\mathbf{x}$上的“条件风险”：

SVM支持向量机

Thu, 16 Aug 2018 00:00:00 +0000

SVM是机器学习里面一个非常重要的模型，它是由统计学习理论之父弗拉基米尔·瓦普尼克提出的

本文以SVM二分类为例

推导过程

给定训练数据集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}, y_i \in \\{-1, +1\\}$，分类器最基本的想法就是基于训练集D在样本空间中找到一个划分空间，将不同类别的样本分开。划分超平面可用如下的线性方程描述：

线性回归和Logistic回归

Mon, 13 Aug 2018 00:00:00 +0000

好久没更博客了，停了大半年，也看了大半年的机器学习和深度学习方面的书籍，现在是时候输出一下了

线性回归

给定数据集$D=\\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),...,(\mathbf{x_m},y_m)\\}$，其中$\mathbf{x_i}=(x_{i1};x_{i2};...;x_{id}), \ y_{i} \in R$. 线性回归试图学得一个线性模型

g++与gdb使用

Fri, 02 Mar 2018 00:00:00 +0000

G++是Unix/Linux下C++的编译器，gdb则是Unix/Linux下有力的调试工具。大多数时候，我们编写的C/C++代码并不是运行在Windows上，而是在Linux系统上跑。这里我记录了一些有关于g++和gdb的一些使用方法以备不时之需。

Ubuntu配置Django

Mon, 19 Feb 2018 00:00:00 +0000

2018新春之际，鬼知道我经历了些什么，在大年初四推博文。Django其实是在新年前配置好的，当时刚好学到了python做web开发方面的知识就顺手配置了。

Linux配置Tensorflow

Sun, 04 Feb 2018 00:00:00 +0000

套用TensorFlow中文社区的一句话：TensorFlow，一个用于人工智能的开源神器。

配置使用环境

系统：Ubuntu16.04(LTS)
python版本：python3.6（使用Anaconda建立虚拟环境）
Nvidia卡：Geforce 920M（如果没有Nvidia卡，则只能安装CPU版本）

Tensorflow安装

tensorflow分为两个CPU/GPU两个版本，我建立了两个python虚拟环境，分别安装了这两个版本。在此记录一下安装的痛苦过程

Linux渗透测试命令

Sat, 20 Jan 2018 00:00:00 +0000

以下是Linux机器的渗透测试备忘录，我无意间在网上看到的，便搬运到这边。

Linux机器渗透测试

命令	描述
netstat -tulpn	在Linux中显示对应于ID（PID）的网络端口
watch ss -stplu	通过套接字实时观察TCP，UDP端口
lsof -i	显示确认了的连接
macchanger -m MACADDR INTR	在KALI Linux上修改MAC地址
ifconfig eth0 192.168.2.1/24	在Linux中设置ID地址
ifconfig eth0:192.168.2.3/24	在Linux中向现有的网络接口添加IP地址
ifconfig eth0 hw ether MAC ADDR	使用ifconfig修改Linux中的地址
ifconfig eth0 mtu 1500	使用ifconfig修改MTU的大小，将1500改为想要的MTU
dig -x 192.168.1.1	对IP地址进行反向查找
host 192.168.1.1	在一个IP地址上进行反向查找，适用于没有安装dig的情况
dig @192.168.2.2 domain.com -t AXFR	使用dig执行一次DNS区域传输
host -l domain.com nameserver	使用host执行一次DNS区域传输
nbtstat -A x.x.x.x	获取IP地址对应的域名
ip addr add 192.168.2.22/24 dev eth0	添加一个隐藏的IP地址，执行ifconfig时不会显示这个IP地址
tcpkill -9 host goole.com	阻止从主机访问goole.com
echo "1">/proc/sys/net/ipv4/ip_forward	启用IP转发，将Linux盒子变成一个路由器——这样就方便通过这个盒子进行路由流量的控制
echo "8.8.8.8">/etc/resolv.conf	使用Goole的DNS

系统信息命令

对于本地的枚举检查有很大的帮助