主题：【讨论】中国首枚智能芯片问世 -- 红茶冰

您不是从事机器学习工作的吧，可能是工作中要用到ANN相关的工具，挑几个我觉得比较有价值的问题说吧

SVM全称是Support Vector Machines，支持向量机，理论依据是large-margin或者叫max-margin，这个在shallow方法里面可以说是理论基础最扎实的了

Boosting这就是全称，最常用的是AdaBoost，是用弱分类器组合构建强分类器的一种机器学习方式

这么理解可以算对，但也不全对

不是说多隐藏层就是deep learning了，不然的话深度学习早在90年代末就该搞出来了，不会等到现在

按照目前深度学习的理论，在90年代末及21世纪初的所有增加网络深度的尝试中，虽然增多了隐藏层，但是这些隐藏层会退化，就有点像多个线性函数相互嵌套，f(x)=a(b(c...(x)))，如果a、b、c等都是线性函数，那f仍然是一个线性函数一样（这意味着对于n维的x来说，虽然每个子函数a、b、c都有n+1个参数，但真正有效参数仍然只有n+1个，参数可以大致等价于隐藏层的神经元；另外我只是说像这种样子，不是说ANN里面每一层都是线性函数哈），因此虽然隐藏层多了，但是因为会退化，所以深度仍然是1，特征提取的f(g(x))模型深度是2

深度学习是找到了一种隐藏层的叠加方式，使得网络在增加隐藏层时不会发生退化，所以在增多隐藏层时才能实质增加网络深度

我承认我这个公式写得不严谨，但我要表达的肯定不是一个分段函数

我偷懒不推导了，参考一下深入浅出的讲解傅里叶变换吧，就是里面正弦波的叠加方式，或者说傅里叶变换就是以正弦函数作为核函数的函数拟合

我说的是收敛速度快很多，不是说运算速度快很多

收敛速度快按照梯度下降法，就是说梯度的方向选择好，前进的步长设定准确，而方向选择和步长设定都是机器按照规则设计自动完成的，为什么用y=max{x,0}能更好更准，反正我是理解不能