admin管理员组

文章数量:1660165

逻辑回归梳理

    • 一、逻辑回归与线性回归的联系与区别
    • 二、逻辑回归的原理
    • 三、逻辑回归损失函数推导及优化
      • 常见的损失函数
    • 四、正则化与模型评估指标
    • 五、逻辑回归的优缺点
    • 六、样本不均衡问题解决办法
    • 七、sklearn参数

一、逻辑回归与线性回归的联系与区别

  • 联系
    逻辑回归与线性回归都属于广义线性回归模型
  • 区别
  1. 因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归。logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。
  2. 线性回归用于解决回归问题，逻辑回归主要用于解决分类问题。

二、逻辑回归的原理

三、逻辑回归损失函数推导及优化

常见的损失函数

机器学习或者统计机器学习常见的损失函数如下：

  1. 0-1损失函数 （0-1 loss function）
    L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)
    L(Y,f(X))={1,Y ≠ f(X)0,Y = f(X)
  2. 平方损失函数（quadratic loss function)
    L(Y,f(X))=(Y−f(x))2
    L(Y,f(X))=(Y−f(x))2
  3. 绝对值损失函数(absolute loss function)
    L(Y,f(x))=|Y−f(X)|
    L(Y,f(x))=|Y−f(X)|
  4. 对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
    L(Y,P(Y|X))=−logP(Y|X)
    L(Y,P(Y|X))=−logP(Y|X)
    逻辑回归中，采用的则是对数损失函数。如果损失函数越小，表示模型越好。

线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。


代价函数

得到代价函数之后，便可以用梯度下降法来求得使得代价函数最小的参数了，算法为：

求导之后

本文标签： 算法逻辑机器

版权声明：本文标题：机器学习算法梳理(二)：逻辑回归 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1729850522a1215347.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。