gradient descent

梯度下降法

梯度：

• 在单变量的函数中，梯度就是函数的微分，代表着函数在某个定点切线的斜率。
• 在多变量函数中，梯度是一个向量，梯度的方向就指出了函数在给定点上升最快的方向

参数更新公式：

$$\theta^1 = \theta^0 - \alpha\nabla J(\theta)$$

​ 其中$\alpha$为步长，$\nabla J(\theta)$为损失函数的梯度，$\theta$为权重

代价函数：

​ 衡量模型预测的值$h_{\theta}(x^{(i)})$与真实值$y$之间的差异的函数

形式：

• 均方误差 $$J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)^2$$ $m$为训练样本的个数 $$\nabla J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)x^{(i)}$$

• 交叉熵(用于逻辑回归)

  $$J(\theta) = -\frac{1}{m}[\sum_{i=1}^{m}(y^{(i)}\log h_{\theta}(x^{(i)})+(1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]$$ $$\nabla J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)x^{(i)}$$

  ​ 其中

  $$h_{\theta}(x^{(i)}) = \frac{1}{1+e^{-\theta x}}$$

用矩阵表示：(均方误差)

$$J(\theta) = \frac{1}{2m}(X\theta-y)^T(X\theta-y)$$ $$\nabla J(\theta)=\frac{1}{m}X^T(X\theta-y)$$