人工智能-Python实现岭回归

2024-09-29 05:49:24

1 概述

1.1 线性回归

对于一般地线性回归问题，参数的求解采用的是最小二乘法，其目标函数如下：

$argmin\left \| Xw-y \right \|^{2}$

参数 w 的求解，也可以使用如下矩阵方法进行：

$w=(X^{T}X)^{-1}X^{T}y$

这个公式看着吓人，其实推导过程简单由（ $y=wX$ 推导而来，纸老虎）
对于矩阵 X ，若某些列线性相关性较大（即训练样本中某些属性线性相关），就会导致
的值接近 0 ，在计算 $\left ( X^{T}X\right )^{-1}$ 时就会出现不稳定性。
结论： 传统的基于最小二乘的线性回归法缺乏稳定性。

1.2 岭回归

岭回归的优化目标：

$argmin\left \| Xw-y \right \|^{2}+\partial \left \| w \right \|^{2}$

对应的矩阵求解方法为：

$w=(X^{T}X+\partial I)^{-1}X^{T}y$

岭回归(ridge regression) 是一种专用于共线性数据分析的有偏估计回归方法。
是一种改良的最小二乘估计法，对某些数据的拟合要强于最小二乘法。

1.3 过拟合

图二就是正常拟合，符合数据的趋势，而图三，虽然在训练集上拟合得很好，但是出现未知数据时，比如Size很大时，根据目前拟合来看，可能得到的结果很小，与实际误差会很大。

2 sklearn中的岭回归

在sklearn库中，可以使用sklearn.linear_model.Ridge调用岭回归模型，其主要参数有：

• alpha：正则化因子，对应于损失函数中的

python机器学习基础线性回归与岭回归算法详解

目录一.什么是线性回归 1.线性回归简述 2.数组和矩阵数组矩阵 3.线性回归的算法二.权重的求解 1.正规方程 2.梯度下降三.线性回归案例 1.案例概述 2.数据获取 3.数据分割 4.数据标准化 5.模型训练 6.回归性能评估 7.梯度下降与正规方程区别四.岭回归Ridge 1.过拟合与欠拟合 2.正则化一.什么是线性回归 1.线性回归简述线性回归,是一种趋势,通过这个趋势,我们能预测所需要得到的大致目标值.线性关系在二维中是直线关系,三维中是平面关系. 我们可以使用如下模
人工智能-Python实现岭回归

1 概述 1.1 线性回归对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下: 参数 w 的求解,也可以使用如下矩阵方法进行: 这个公式看着吓人,其实推导过程简单由(推导而来,纸老虎)对于矩阵 X ,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致的值接近 0 ,在计算时就会出现不稳定性.结论 : 传统的基于最小二乘的线性回归法缺乏稳定性. 1.2 岭回归岭回归的优化目标: 对应的矩阵求解方法为: 岭回归(ridge regression
用TensorFlow实现lasso回归和岭回归算法的示例

也有些正则方法可以限制回归算法输出结果中系数的影响,其中最常用的两种正则方法是lasso回归和岭回归. lasso回归和岭回归算法跟常规线性回归算法极其相似,有一点不同的是,在公式中增加正则项来限制斜率(或者净斜率).这样做的主要原因是限制特征对因变量的影响,通过增加一个依赖斜率A的损失函数实现. 对于lasso回归算法,在损失函数上增加一项:斜率A的某个给定倍数.我们使用TensorFlow的逻辑操作,但没有这些操作相关的梯度,而是使用阶跃函数的连续估计,也称作连续阶跃函数,其会在截止点跳跃扩
人工智能-Python实现多项式回归

目录 1.概述 1.1 有监督学习 1.2 多项式回归 2 概念 3 案例实现——方法1 3.1 案例分析 3.2 代码实现 3.3 结果 3.4 可视化 4 案例实现——方法2 4.1 代码 4.2 结果 4.3 可视化 1.概述 1.1 有监督学习 1.2 多项式回归上一次我们讲解了线性回归,这次我们重点分析多项式回归. 多项式回归(Polynomial Regression) 是研究一个因变量与一个或多个自变量间多项式的回归分析方法.如果自变量只有一个时,称为一元多项式回归:如果自变
Python机器学习logistic回归代码解析

本文主要研究的是Python机器学习logistic回归的相关内容,同时介绍了一些机器学习中的概念,具体如下. Logistic回归的主要目的:寻找一个非线性函数sigmod最佳的拟合参数拟合.插值和逼近是数值分析的三大工具回归:对一直公式的位置参数进行估计拟合:把平面上的一些系列点,用一条光滑曲线连接起来 logistic主要思想:根据现有数据对分类边界线建立回归公式.以此进行分类 sigmoid函数:在神经网络中它是所谓的激励函数.当输入大于0时,输出趋向于1,输入小于0时,输出趋向0
解析python实现Lasso回归

Lasso原理 Lasso与弹性拟合比较python实现 import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import r2_score #def main(): # 产生一些稀疏数据 np.random.seed(42) n_samples, n_features = 50, 200 X = np.random.randn(n_samples, n_features) # randn(...)产生的
Python基于Logistic回归建模计算某银行在降低贷款拖欠率的数据示例

本文实例讲述了Python基于Logistic回归建模计算某银行在降低贷款拖欠率的数据.分享给大家供大家参考,具体如下: 一.Logistic回归模型: 二.Logistic回归建模步骤 1.根据分析目的设置指标变量(因变量和自变量),根据收集到的数据进行筛选 2.用ln(p/1-p)和自变量x1...xp列出线性回归方程,估计出模型中的回归系数 3.进行模型检验.模型有效性检验的函数有很多,比如正确率.混淆矩阵.ROC曲线.KS值 4.模型应用. 三.对某银行在降低贷款拖欠率的数据进行建模源
Python利用逻辑回归模型解决MNIST手写数字识别问题详解

本文实例讲述了Python利用逻辑回归模型解决MNIST手写数字识别问题.分享给大家供大家参考,具体如下: 1.MNIST手写识别问题 MNIST手写数字识别问题:输入黑白的手写阿拉伯数字,通过机器学习判断输入的是几.可以通过TensorFLow下载MNIST手写数据集,通过import引入MNIST数据集并进行读取,会自动从网上下载所需文件. %matplotlib inline import tensorflow as tf import tensorflow.examples.tutori
Python利用逻辑回归分类实现模板

Logistic Regression Classifier逻辑回归主要思想就是用最大似然概率方法构建出方程,为最大化方程,利用牛顿梯度上升求解方程参数. 优点:计算代价不高,易于理解和实现. 缺点:容易欠拟合,分类精度可能不高. 使用数据类型:数值型和标称型数据. 好了,下面开始正文. 算法的思路我就不说了,我就提供一个万能模板,适用于任何纬度数据集. 虽然代码类似于梯度下降,但他是个分类算法定义sigmoid函数 def sigmoid(x): return 1/(1+np.exp(-x)
python rolling regression. 使用 Python 实现滚动回归操作

滚动回归所谓滚动回归,通常用在时间序列上.记当前时刻为 t,回归时长为 s,则一直使用当作自变量来预测 .使用滚动回归的目的通常是为了避免未来函数对于回归的影响. 具体来说,如果我们直接用所有数据来建立线性回归模型,则回归系数 ,是关于所有 x 与所有 y 的函数.然而,我们在时是不知道未来的数据点的!如果使用全部数据进行回归则相当于未卜先知,会造成严重的过拟合. Python实现之前 python 的 pandas 与 statsmodels 库均支持滚动回归,但是现在两个都不支持.因