Deep Learning

如今的深度神经网络已经具有了完备的能力，特别是在视觉领域已经接近甚至超过了人类的视觉能力，而在这些深度学习网络的背后都含有着一个基本框架，即卷积神经网络（CNN）。CNN的主要应用范围是在计算机视觉领域，这里我简单的介绍一下CNN中的经典模型AlexNet。AlexNet是由Alex Krizhevsky等人在2012年提出的，虽然现在这个模型已经比较少见了（大多数都使用resnet什么的），这个在当时的目标检测领域有着很好的表现，也为后续的其它CNN框架奠定了基础。 ...

最优化是一个十分困难的问题，通常要精心设计一个目标函数及相关约束，同时还要确保所要优化的问题为凸函数，但现实中的问题大多为非凸函数，针对非凸优化问题，这里有一些基本的优化方法：SGD、Momentum、AdaGrad、RMSProp及Adam等 ...