人工智能-Python实现多项式回归

目录
  • 1、概述
    • 1.1 有监督学习
    • 1.2 多项式回归
  • 2 概念
  • 3 案例实现——方法1
    • 3.1 案例分析
    • 3.2 代码实现
    • 3.3 结果
    • 3.4 可视化
  • 4 案例实现——方法2
    • 4.1 代码
    • 4.2 结果
    • 4.3 可视化

1、概述

1.1 有监督学习

1.2 多项式回归

上一次我们讲解了线性回归,这次我们重点分析多项式回归。

多项式回归(Polynomial Regression) 是研究一个因变量与一 个或多个自变量间多项式的回归分析方法。如果自变量只有一个 时,称为一元多项式回归;如果自变量有多个时,称为多元多项 式回归。

(1)在一元回归分析中,如果依变量 y 与自变量 x 的关系为非线性的,但 是又找不到适当的函数曲线来拟合,则可以采用一元多项式回归。
(2)多项式回归的最大优点就是可以通过增加 x 的高次项对实测点进行逼 近,直至满意为止。
(3)事实上,多项式回归可以处理相当一类非线性问题,它在回归分析 中占有重要的地位,因为任一函数都可以分段用多项式来逼近。

2 概念

之前提到的线性回归实例中,是运用直线来拟合数据输入与输出之间的线性关系。不同于线性回归, 多项式回归是使用曲线拟合数据的输入与输出的映射关系 。

3 案例实现——方法1

3.1 案例分析

应用背景:我们在前面已经根据已知的房屋成交价和房屋的尺寸进行了线性回归,继而可以对已知房屋尺寸,而未知房屋成交价格的实例进行了成交价格的预测,但是在实际的应用中这样的拟合往往不够好,因此我们在此对该数据集进行多项式回归。
目标:对房屋成交信息建立多项式回归方程,并依据回归方程对房屋价格进行预测。

成交信息包括房屋的面积以及对应的成交价格:

  • (1)房屋面积单位为平方英尺( ft 2 )
  • (2)房屋成交价格单位为万

3.2 代码实现

import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from sklearn.preprocessing import PolynomialFeatures
 
 
# 读取数据集
datasets_X = []
datasets_Y = []
fr = open('多项式线性回归.csv','r')
lines = fr.readlines()
for line in lines:
    items = line.strip().split(',')
    datasets_X.append(int(items[0]))
    datasets_Y.append(int(items[1]))
 
length = len(datasets_X)
datasets_X = np.array(datasets_X).reshape([length,1])
datasets_Y = np.array(datasets_Y)
 
minX = min(datasets_X)
maxX = max(datasets_X)
X = np.arange(minX,maxX).reshape([-1,1])
 
 
poly_reg = PolynomialFeatures(degree = 2)      #degree=2表示建立datasets_X的二次多项式特征X_poly。
X_poly = poly_reg.fit_transform(datasets_X)    #使用PolynomialFeatures构造x的二次多项式X_poly
lin_reg_2 = linear_model.LinearRegression()
lin_reg_2.fit(X_poly, datasets_Y)           #然后创建线性回归,使用线性模型(linear_model)学习X_poly和y之间的映射关系
 
print(X_poly)
print(lin_reg_2.predict(poly_reg.fit_transform(X)))
print('Coefficients:', lin_reg_2.coef_)      #查看回归方程系数(k)
print('intercept:', lin_reg_2.intercept_)    ##查看回归方程截距(b)
print('the model is y={0}+({1}*x)+({2}*x^2)'.format(lin_reg_2.intercept_,lin_reg_2.coef_[0],lin_reg_2.coef_[1]))
# 图像中显示
plt.scatter(datasets_X, datasets_Y, color = 'red')  #scatter函数用于绘制数据点,这里表示用红色绘制数据点;
#plot函数用来绘制回归线,同样这里需要先将X处理成多项式特征;
plt.plot(X, lin_reg_2.predict(poly_reg.fit_transform(X)), color = 'blue')
plt.xlabel('Area')
plt.ylabel('Price')
plt.show()

3.3 结果

[[1.0000000e+00 1.0000000e+03 1.0000000e+06]
 [1.0000000e+00 7.9200000e+02 6.2726400e+05]
 [1.0000000e+00 1.2600000e+03 1.5876000e+06]
 [1.0000000e+00 1.2620000e+03 1.5926440e+06]
 [1.0000000e+00 1.2400000e+03 1.5376000e+06]
 [1.0000000e+00 1.1700000e+03 1.3689000e+06]
 [1.0000000e+00 1.2300000e+03 1.5129000e+06]
 [1.0000000e+00 1.2550000e+03 1.5750250e+06]
 [1.0000000e+00 1.1940000e+03 1.4256360e+06]
 [1.0000000e+00 1.4500000e+03 2.1025000e+06]
 [1.0000000e+00 1.4810000e+03 2.1933610e+06]
 [1.0000000e+00 1.4750000e+03 2.1756250e+06]
 [1.0000000e+00 1.4820000e+03 2.1963240e+06]
 [1.0000000e+00 1.4840000e+03 2.2022560e+06]
 [1.0000000e+00 1.5120000e+03 2.2861440e+06]
 [1.0000000e+00 1.6800000e+03 2.8224000e+06]
 [1.0000000e+00 1.6200000e+03 2.6244000e+06]
 [1.0000000e+00 1.7200000e+03 2.9584000e+06]
 [1.0000000e+00 1.8000000e+03 3.2400000e+06]
 [1.0000000e+00 4.4000000e+03 1.9360000e+07]
 [1.0000000e+00 4.2120000e+03 1.7740944e+07]
 [1.0000000e+00 3.9200000e+03 1.5366400e+07]
 [1.0000000e+00 3.2120000e+03 1.0316944e+07]
 [1.0000000e+00 3.1510000e+03 9.9288010e+06]
 [1.0000000e+00 3.1000000e+03 9.6100000e+06]
 [1.0000000e+00 2.7000000e+03 7.2900000e+06]
 [1.0000000e+00 2.6120000e+03 6.8225440e+06]
 [1.0000000e+00 2.7050000e+03 7.3170250e+06]
 [1.0000000e+00 2.5700000e+03 6.6049000e+06]
 [1.0000000e+00 2.4420000e+03 5.9633640e+06]
 [1.0000000e+00 2.3870000e+03 5.6977690e+06]
 [1.0000000e+00 2.2920000e+03 5.2532640e+06]
 [1.0000000e+00 2.3080000e+03 5.3268640e+06]
 [1.0000000e+00 2.2520000e+03 5.0715040e+06]
 [1.0000000e+00 2.2020000e+03 4.8488040e+06]
 [1.0000000e+00 2.1570000e+03 4.6526490e+06]
 [1.0000000e+00 2.1400000e+03 4.5796000e+06]
 [1.0000000e+00 4.0000000e+03 1.6000000e+07]
 [1.0000000e+00 4.2000000e+03 1.7640000e+07]
 [1.0000000e+00 3.9000000e+03 1.5210000e+07]
 [1.0000000e+00 3.5440000e+03 1.2559936e+07]
 [1.0000000e+00 2.9800000e+03 8.8804000e+06]
 [1.0000000e+00 4.3550000e+03 1.8966025e+07]
 [1.0000000e+00 3.1500000e+03 9.9225000e+06]
 [1.0000000e+00 3.0250000e+03 9.1506250e+06]
 [1.0000000e+00 3.4500000e+03 1.1902500e+07]
 [1.0000000e+00 4.4020000e+03 1.9377604e+07]
 [1.0000000e+00 3.4540000e+03 1.1930116e+07]
 [1.0000000e+00 8.9000000e+02 7.9210000e+05]]
[231.16788093 231.19868474 231.22954958 ... 739.2018995  739.45285011
 739.70386176]
Coefficients: [ 0.00000000e+00 -1.75650177e-02  3.05166076e-05]
intercept: 225.93740561055927
the model is y=225.93740561055927+(0.0*x)+(-0.017565017675036532*x^2)

3.4 可视化

4 案例实现——方法2

4.1 代码

import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
import numpy as np
import pandas as pd
import warnings
 
warnings.filterwarnings(action="ignore", module="sklearn")
 
dataset = pd.read_csv('多项式线性回归.csv')
X = np.asarray(dataset.get('x'))
y = np.asarray(dataset.get('y'))
 
# 划分训练集和测试集
X_train = X[:-2]
X_test = X[-2:]
y_train = y[:-2]
y_test = y[-2:]
 
# fit_intercept 为 True
model1 = Pipeline([('poly', PolynomialFeatures(degree=2)), ('linear', LinearRegression(fit_intercept=True))])
model1 = model1.fit(X_train[:, np.newaxis], y_train)
y_test_pred1 = model1.named_steps['linear'].intercept_ + model1.named_steps['linear'].coef_[1] * X_test
print('while fit_intercept is True:................')
print('Coefficients: ', model1.named_steps['linear'].coef_)
print('Intercept:', model1.named_steps['linear'].intercept_)
print('the model is: y = ', model1.named_steps['linear'].intercept_, ' + ', model1.named_steps['linear'].coef_[1],
      '* X')
# 均方误差
print("Mean squared error: %.2f" % mean_squared_error(y_test, y_test_pred1))
# r2 score,0,1之间,越接近1说明模型越好,越接近0说明模型越差
print('Variance score: %.2f' % r2_score(y_test, y_test_pred1), '\n')
 
# fit_intercept 为 False
model2 = Pipeline([('poly', PolynomialFeatures(degree=2)), ('linear', LinearRegression(fit_intercept=False))])
model2 = model2.fit(X_train[:, np.newaxis], y_train)
y_test_pred2 = model2.named_steps['linear'].coef_[0] + model2.named_steps['linear'].coef_[1] * X_test + \
               model2.named_steps['linear'].coef_[2] * X_test * X_test
print('while fit_intercept is False:..........................................')
print('Coefficients: ', model2.named_steps['linear'].coef_)
print('Intercept:', model2.named_steps['linear'].intercept_)
print('the model is: y = ', model2.named_steps['linear'].coef_[0], '+', model2.named_steps['linear'].coef_[1], '* X + ',
      model2.named_steps['linear'].coef_[2], '* X^2')
# 均方误差
print("Mean squared error: %.2f" % mean_squared_error(y_test, y_test_pred2))
# r2 score,0,1之间,越接近1说明模型越好,越接近0说明模型越差
print('Variance score: %.2f' % r2_score(y_test, y_test_pred2), '\n')
 
plt.xlabel('x')
plt.ylabel('y')
# 画训练集的散点图
plt.scatter(X_train, y_train, alpha=0.8, color='black')
# 画模型
plt.plot(X_train, model2.named_steps['linear'].coef_[0] + model2.named_steps['linear'].coef_[1] * X_train +
         model2.named_steps['linear'].coef_[2] * X_train * X_train, color='red',
         linewidth=1)
plt.show()

4.2 结果

如果不用框架,需要自己手动对数据添加高阶项,有了框架就方便多了。sklearn 使用 Pipeline 函数简化这部分预处理过程。

PolynomialFeatures 中的degree=1时,效果和使用 LinearRegression 相同,得到的是一个线性模型,degree=2时,是二次方程,如果是单变量的就是抛物线,双变量的就是抛物面。以此类推。

这里有一个 fit_intercept 参数,下面通过一个例子看一下它的作用。

fit_intercept 为 True 时,coef_ 中的第一个值为 0,intercept_ 中的值为实际的截距。

fit_intercept False 时,coef_ 中的第一个值为截距,intercept_ 中的值为 0。

如图,第一部分是 fit_intercept 为 True 时的结果,第二部分是 fit_intercept 为 False 时的结果。

while fit_intercept is True:................
Coefficients:  [ 0.00000000e+00 -3.70858180e-04  2.78609637e-05]
Intercept: 204.25470490804574
the model is: y =  204.25470490804574  +  -0.00037085818009180454 * X
Mean squared error: 26964.95
Variance score: -3.61 
 
while fit_intercept is False:..........................................
Coefficients:  [ 2.04254705e+02 -3.70858180e-04  2.78609637e-05]
Intercept: 0.0
the model is: y =  204.2547049080572 + -0.0003708581801012066 * X +  2.7860963722809286e-05 * X^2
Mean squared error: 7147.78
Variance score: -0.22 

4.3 可视化

到此这篇关于人工智能-Python实现多项式回归的文章就介绍到这了,更多相关Python实现多项式回归内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Python多项式回归的实现方法

    多项式回归是一种线性回归形式,其中自变量x和因变量y之间的关系被建模为n次多项式.多项式回归拟合x的值与y的相应条件均值之间的非线性关系,表示为E(y | x) 为什么多项式回归: 研究人员假设的某些关系是曲线的.显然,这种类型的案例将包括多项式项. 检查残差.如果我们尝试将线性模型拟合到曲线数据,则预测变量(X轴)上的残差(Y轴)的散点图将在中间具有许多正残差的斑块.因此,在这种情况下,这是不合适的. 通常的多元线性回归分析的假设是所有自变量都是独立的.在多项式回归模型中,不满足该假设. 多项

  • 人工智能-Python实现多项式回归

    目录 1.概述 1.1 有监督学习 1.2 多项式回归 2 概念 3 案例实现——方法1 3.1 案例分析 3.2 代码实现 3.3 结果 3.4 可视化 4 案例实现——方法2 4.1 代码 4.2 结果 4.3 可视化 1.概述 1.1 有监督学习 1.2 多项式回归 上一次我们讲解了线性回归,这次我们重点分析多项式回归. 多项式回归(Polynomial Regression) 是研究一个因变量与一 个或多个自变量间多项式的回归分析方法.如果自变量只有一个 时,称为一元多项式回归:如果自变

  • 人工智能—Python实现线性回归

    1.概述 (1)人工智能学习 (2)机器学习 (3)有监督学习 (4)线性回归 2.线性回归 (1)实现步骤 根据随机初始化的 w x b 和 y 来计算 loss 根据当前的 w x b 和 y 的值来计算梯度 更新梯度,循环将新的 w′ 和 b′ 复赋给 w 和 b ,最终得到一个最优的 w′ 和 b′ 作为方程最终的 (2)数学表达式 3.代码实现(Python) (1)机器学习库(sklearn.linear_model) 代码: from sklearn import linear_m

  • AI人工智能 Python实现人机对话

    在人工智能进展的如火如荼的今天,我们如果不尝试去接触新鲜事物,马上就要被世界淘汰啦~ 本文拟使用Python开发语言实现类似于WIndows平台的"小娜",或者是IOS下的"Siri".最终达到人机对话的效果. [实现功能] 这篇文章将要介绍的主要内容如下: 1.搭建人工智能--人机对话服务端平台 2.实现调用服务端平台进行人机对话交互 [实现思路] AIML AIML由Richard Wallace发明.他设计了一个名为 A.L.I.C.E. (Artificia

  • 人工智能-Python实现岭回归

    1 概述 1.1 线性回归 对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下: 参数 w 的求解,也可以使用如下矩阵方法进行: 这个公式看着吓人,其实推导过程简单由(推导而来,纸老虎)对于矩阵 X ,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致的值接近 0 ,在计算时就会出现不稳定性.结论 : 传统的基于最小二乘的线性回归法缺乏稳定性. 1.2 岭回归 岭回归的优化目标:  对应的矩阵求解方法为:          岭回归(ridge regression

  • 解读! Python在人工智能中的作用

    人工智能是一种未来性的技术,目前正在致力于研究自己的一套工具.一系列的进展在过去的几年中发生了:无事故驾驶超过300000英里并在三个州合法行驶迎来了自动驾驶的一个里程碑:IBM Waston击败了Jeopardy两届冠军;统计学习技术从对消费者兴趣到以万亿记的图像的复杂数据集进行模式识别. 这些发展必然提高了科学家和巨匠们对人工智能的兴趣,这也使得开发者们了解创建人工智能应用的真实本质.开发这些需要注意的第一件事是: 哪一种编程语言适合人工智能? 你所熟练掌握的每一种编程语言都可以是人工智能的

  • 为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)

    为何人工智能(AI)首选Python?读完这篇文章你就知道了.我们看谷歌的TensorFlow基本上所有的代码都是C++和Python,其他语言一般只有几千行 .如果讲运行速度的部分,用C++,如果讲开发效率,用Python,谁会用Java这种高不成低不就的语言搞人工智能呢?Python虽然是脚本语言,但是因为容易学,迅速成为科学家的工具(MATLAB也能搞科学计算,但是软件要钱,且很贵),从而积累了大量的工具库.架构,人工智能涉及大量的数据计算,用Python是很自然的,简单高效.Python

  • 人工智能学习路线分享

    人工智能"六步走"学习路线,供大家参考,具体内容如下 1.学习并掌握一些数学知识 高等数学是基础中的基础,一切理工科都需要这个打底,数据挖掘.人工智能.模式识别此类跟数据打交道的又尤其需要多元微积分运算基础 线性代数很重要,一般来说线性模型是你最先要考虑的模型,加上很可能要处理多维数据,你需要用线性代数来简洁清晰的描述问题,为分析求解奠定基础 概率论.数理统计.随机过程更是少不了,涉及数据的问题,不确定性几乎是不可避免的,引入随机变量顺理成章,相关理论.方法.模型非常丰富.很多机器学习

  • python主要用于哪些方向

    Python的应用范围广,无论是web开发,还是数据抓取,运维测试,都可以用它来实现,下面来具体看一下: Web应用开发 Python经常被用于Web开发.比如,通过mod_wsgi模块,Apache可以运行用Python编写的Web程序.Python定义了WSGI标准应用接口来协调Http服务器与基于Python的Web程序之间的通信.一些Web框架,如Django,TurboGears,web2py,Zope等,可以让程序员轻松地开发和管理复杂的Web程序. 操作系统管理.服务器运维的自动化

  • python机器学习之线性回归详解

    一.python机器学习–线性回归 线性回归是最简单的机器学习模型,其形式简单,易于实现,同时也是很多机器学习模型的基础. 对于一个给定的训练集数据,线性回归的目的就是找到一个与这些数据最吻合的线性函数. 二.OLS线性回归 2.1 Ordinary Least Squares 最小二乘法 一般情况下,线性回归假设模型为下,其中w为模型参数 线性回归模型通常使用MSE(均方误差)作为损失函数,假设有m个样本,均方损失函数为:(所有实例预测值与实际值误差平方的均值) 由于模型的训练目标为找到使得损

  • Python爬取门户论坛评论浅谈Python未来发展方向

    目录 Robots.txt 协议 Python代码 Python发展方向 数据分析/数据挖掘 人工智能 Python运维 WEB开发 Python爬虫 环境: Python3 + windows. 开发工具:Anaconda + Jupyter / VS Code. 学习效果: 1.认识爬虫 / Robots协议 2.了解浏览器开发者工具 3.动态加载页面的处理 4.手机客户端页面的数据采集 Robots.txt 协议 Robots协议,也称为爬虫协议 网站通过Robots协议告诉搜索引擎哪些页

随机推荐