第一种方法主要是通过将学习率乘以一个0到1之间的因子(比如RMSprop)来降低学习率。Theano很好的集成了Numpy，可以直接使用Numpy的Ndarray，大大降低了API接口的学习成本，其计算稳定性好，能精确计算输出值小的函数；c或CUDA代码可以动态生成，编译成高效的机器码。

这个比较复杂，需要知道方法。可以用两三种方法。十倍梯度稀释法(多倍稀释和梯度稀释):梯度下降法是一种寻找函数最小值的优化方法，在深度学习模型的反向传播过程中经常用来更新神经网络的权值。梯度下降优化算法的作用是什么？梯度下降，优化算法发挥了以下三个主要作用:1 .学习率成分，或2。修改的梯度分量L/W3或两者。我们来看下面的公式1。

第一种方法主要是通过将学习率乘以一个0到1之间的因子(比如RMSprop)来降低学习率。第二种方法通常用梯度(也叫动量)的移动平均代替纯梯度来确定下降方向。第三种方法是将Adam和AMSGrad结合起来。图2)各种梯度下降优化算法，它们的出版年份和它们使用的核心思想。

由于Python的易用性和可扩展性，很多深度学习框架都提供了Python接口，其中比较流行的深度学习库如下:第一，CaffeCaffe是一个以表达、速度和模块化为核心的深度学习框架，清晰、可读、快速，广泛应用于视频和图像处理。Caffe中的网络结构和优化是以配置文件的形式定义的，简单易用，不需要通过代码搭建网络。网络训练速度快，可以训练大数据集和最先进的模型。模块化组件可以很容易地扩展到新的模型和学习任务。

其核心是一个数学表达式的编译器，专门用来处理大规模神经网络训练的计算。Theano很好的集成了Numpy，可以直接使用Numpy的Ndarray，大大降低了API接口的学习成本。其计算稳定性好，能精确计算输出值小的函数；c或CUDA代码可以动态生成，编译成高效的机器码。

Adagrad算法可以自适应地对不同的参数采用不同的更新频率，对低频特征采用低更新率，对高频特征采用高更新率。因此对于稀疏数据表现良好，提高了SGD的鲁棒性，在Google通过Youtube视频识别猫的神经网络训练中也有不错的表现。梯度更新规则:g(t，I)表示目标函数在时间t对θ(i)的偏导数。

梯度下降算法是一种优化算法。基本原理是通过迭代调整参数使损失函数值最小。每次迭代都会根据当前的参数计算损失函数的梯度，然后沿着梯度的反方向调整参数，使损失函数的值变小。具体来说，每次迭代都会计算当前参数下每个参数的损失函数的偏导数，这些偏导数构成了损失函数的梯度。然后根据以下公式调整参数:∇θJ(θ α * θ J(θ)，其中θ为参数，J(θ)为损失函数，α为学习率，θJ(θ)为损失函数关于θ的梯度。

optimizer是一种在神经网络的训练过程中，通过梯度下降来搜索最优解的优化方法。不同的方法侧重于用不同的方式解决不同的问题(如加入动量项和学习速率的自适应变化等。)，但最后大部分都是为了加快训练速度。这里介绍几种常见的优化器，包括它们的原理、数学公式、核心思想和性能。核心思想:即对于每一个输入训练数据，计算输出预测与真实值之间的损失梯度；从表达式上看，网络中参数的更新是不断地朝着损失函数最小化的方向进行的:优点:简单易懂，即对于对应的最优解(这里认为是损失的最小函数)，每个变量的更新都是沿着局部梯度在最快的方向，从而使损失函数最小化。

Reference:反卷积也叫转置卷积。如果卷积运算是通过矩阵乘法实现的，卷积核平铺成一个矩阵，转置卷积在正向计算中把这个矩阵的转置WT乘以左，在反向传播中乘以左w，与卷积运算正好相反。需要注意的是，反卷积不是卷积的逆运算。本文介绍了机器学习和深度学习中常用的一些优化算法和优化器，以及我所知道的其他一些优化算法。有些算法我也不懂，先记录下来再慢慢研究。*_*.1.GradientDescent可以参考我在另一篇文章《机器学习的线性回归》中的解释，这里就不赘述了。这里需要强调的是，深度学习中常用的SGD，翻译过来就是随机梯度下降。

或者两者结合更准确。SGD的优点是算法简单，计算量少，在函数凸的情况下能找到全局最优解，所以是最常用的优化算法。缺点是如果函数不是凸的，容易进入局部最优解，跳不出来。同时，SGD很难选择学习率。2.牛顿法牛顿法和拟牛顿法都是求解无约束优化问题的常用方法，其中牛顿法是最常用的一种。

gradient g指函数在某处的偏导数，指向函数的上升方向。所以梯度下降法是指用梯度的负g来更新参数，使下一次计算的结果向函数下降方向逼近，从而得到最小值。其中，更新时间相乘的系数称为学习率。以所有M个数据为一批，每次计算损失值和梯度G(偏导数)都是所有数据的累积和，每个参数都是用所有数据的累积和来更新的。

优点:很快缺点:随机性高，噪声影响严重，不一定落到整体最好。将所有样本分成n批(一般是随机的)，每次用一批的数据计算损失和梯度，并更新参数，避免了唯一的随机性和耗时的全局计算。优点:得到的梯度下降方向局部最优，整体速度快。参考:知乎列SGD梯度下降法可能会停滞到平原、鞍点和局部最优(这三个点的梯度都是0)，所以驱动量梯度下降法可以依靠前面的梯度值“穿越平原、鞍点和局部最优”，提高泛化能力。

SGD算法中的一个关键参数是学习率。以前，我们引入的SGD使用固定的学习速率。实际中需要随着时间的推移逐渐降低学习率，所以我们将k步迭代的学习率记为k，这是因为SGD(随机抽取m个训练样本)中梯度估计引入的噪声源在极小点不会消失。相比之下，当我们使用批量梯度下降达到最小点时，整个代价函数的真实梯度会变得很小，然后会为0，所以批量梯度下降可以使用固定的学习速率。

轻度振荡好，在训练随机代价函数的时候容易出现(比如使用辍学的代价函数)。如果学习率太小，学习过程会很慢，如果初始学习率太低，那么学习可能会卡在一个相当高的世代值。一般来说，在总训练时间和最终生成值方面，最优的初始学习率会高于100次左右迭代后达到最佳效果的学习率，因此，通常最好检测最早的迭代，并选择一个大于效果最佳的学习速率的学习速率，但不要太大而导致严重的冲击。