logistic regression

逻辑回归

逻辑回归不同于线性回归，虽然带有回归二字，其本质做的是分类的活。

• sigmoid函数

sigmoid函数是很常见的一种激活函数，由于其形状像“S”型，又称其为“S”型激活函数。其公式为

$$g(x) = \frac{1}{1+e^{-x}}$$

函数图像为：

将输出限制在0-1之间，大于等于0.5判为1，小于0.5判为0

• 代价函数和梯度下降

我们把期望函数定义为：

$$h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$$

来表示我们预测的输出，那么，有：

$$P(y=1|x;\theta)=h_{\theta}(x)$$ $$P(y=0|x;\theta)=1-h_{\theta}(x)$$

可以得到：

$$P(y|x;\theta)=(h_{\theta}(x))^y(1-h_{\theta}(x))^{1-y}$$

最大似然函数为：

$$L(\theta)=Max\prod^m_{i=1}(h_{\theta}(x))^{y_i}(1-h_{\theta}(x))^{1-y_i}$$

化为对数似然：

$$l(\theta)=\log L(\theta)=Max\sum^m_{i=1}(y_i\log(h_{\theta}))+(1-y_i)\log(1-h_{\theta}(x_i))$$

代价函数为：

$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}[-y^{(i)}\log(h_{\theta}(x^{(i)}))-(1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]$$

梯度为：

$$\nabla J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)x^{(i)}_j$$

仍可使用梯度下降法去更新参数$\theta$

正则化项

正则化是为了消除过拟合而采用的一种方式，将逻辑回归的损失函数加上正则化项，表示为：

$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}[-y^{(i)}\log(h_{\theta}(x^{(i)}))-(1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta^2_j$$

梯度为：

对于$j=0$有

$$\nabla J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)x^{(i)}_j$$

对于$j\ge1$有

$$\nabla J(\theta)=(\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y)x^{(i)}_j)+\frac{\lambda}{m}\theta_j$$