• _

  • 每天五分钟机器学习:使用小批量梯度下降算法完成机器学习任务

    21: 36: 43韩国小健康

    本文的重点

    我们已经了解了批量梯度下降和随机梯度下降,两者都有各自的优缺点。在本课中,我们将学习小批量梯度下降算法,它介于两者之间。

    小批量梯度下降

    批量梯度下降是用所有训练数据完成一次训练,随机梯度下降是使用一个样本进行一次训练。小批量梯度下降是使用b训练样例进行训练(b是超参数),小批量梯度下降算法有时甚至比随机梯度下降算法更快。

    {! - PGC_COLUMN - }

    算法

    如果我们的训练集大小为m且我们的小批量大小为b,那么我们的小批量梯度下降算法:

    每个训练课程使用b个训练集,然后完成参数更新。

    小批量梯度下降和随机梯度下降的比较

    小批量梯度将具有额外的超参数b。这种实际使用要求我们进行调整。

    当使用矢量化时,小批量梯度下降算法可能比随机梯度更好地降级。在这种情况下,您可以并行表达b个样本。

    小批量梯度减少了17.3

    本文的重点

    我们已经了解了批量梯度下降和随机梯度下降,两者都有各自的优缺点。在本课中,我们将学习小批量梯度下降算法,它介于两者之间。

    小批量梯度下降

    批量梯度下降是用所有训练数据完成一次训练,随机梯度下降是使用一个样本进行一次训练。小批量梯度下降是使用b训练样例进行训练(b是超参数),小批量梯度下降算法有时甚至比随机梯度下降算法更快。

    {! - PGC_COLUMN - }

    算法

    如果我们的训练集大小为m且我们的小批量大小为b,那么我们的小批量梯度下降算法:

    每个训练课程使用b个训练集,然后完成参数更新。

    小批量梯度下降和随机梯度下降的比较

    小批量梯度将具有额外的超参数b。这种实际使用要求我们进行调整。

    当使用矢量化时,小批量梯度下降算法可能比随机梯度更好地降级。在这种情况下,您可以并行表达b个样本。

    小批量梯度减少了17.3