python梯度下降法的简单示例

梯度下降法的原理和公式这里不讲，就是一个直观的、易于理解的简单例子。

1.最简单的情况，样本只有一个变量，即简单的（x，y）。多变量的则可为使用体重或身高判断男女（这是假设，并不严谨），则变量有两个，一个是体重，一个是身高，则可表示为(x1,x2,y),即一个目标值有两个属性。

2.单个变量的情况最简单的就是，函数hk(x)=k*x这条直线(注意：这里k也是变化的，我们的目的就是求一个最优的   k)。而深度学习中，我们是不知道函数的，也就是不知道上述的k。   这里讨论单变量的情况：

在不知道k的情况下，我们是通过样本(x1,y1),(x2,y2)，(xn,yn)来获取k。获取的k的好坏则有损失函数来衡量。

损失函数：就是你预测的值和真实值的差异大小（比如一个样本（1，1）他的真实值是1，而你预测的是0.5，则差异   比较大，如果你预测值为0.9999，则差异就比较小了）。

损失函数为定义如下（此处为单变量的情况）

目的是求使损失函数最小的变量k（注意和变量x区分），则将损失函数对k求导（多变量时为求偏导得梯度，这里单变量求导，其实不算梯度），求偏导如下：

然后迭代，迭代时有个步长alpha,(深度学习中貌似叫学习率)

3.例子

假如我们得到样本(1,1),(2,2),(3,3).其实，由这三个样本可以得到函数为y = 1*x。此时损失函数为0.而机器是不知道的，所以我们需要训练。

下面是一段python代码。

import numpy as np
import matplotlib.pyplot as plt
x=np.arange(-5, 5, 0.001)
y=(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0)
plt.plot(x,y)
#plt.show()  #显示图形 

def sum(x):
  return ((x*1-1)*1+(x*2-2)*2+(x*3-3)*3)
def fun(x):
  return ((1/3.0)*sum(x))
old = 0
new = 5
step = 0.01
pre = 0.00000001

def src_fun(x):
  print(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0)

while abs(new-old)>pre:
  old = new
  #src_fun(old)   #输出每次迭代的损失值
  new = new - step*fun(old)

print(new)
print(src_fun(new))

下图是损失函数的图像，损失函数中变量是k。下图横坐标为k的不同取值，纵轴为对应的损失大小。由下图可以大致看出，当k为1时，损失函数值为0。注意：这里取的最优值k=1是在我们已有样本的情况下得出的,样本不同，k值自然不同。

下面是print(new)和print(src_fun(new))的输出结果

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 用Python实现最速下降法求极值的方法

    对于一个多元函数,用最速下降法(又称梯度下降法)求其极小值的迭代格式为 其中为负梯度方向,即最速下降方向,αkαk为搜索步长. 一般情况下,最优步长αkαk的确定要用到线性搜索技术,比如精确线性搜索,但是更常用的是不精确线性搜索,主要是Goldstein不精确线性搜索和Wolfe法线性搜索. 为了调用的方便,编写一个Python文件,里面存放线性搜索的子函数,命名为linesearch.py,这里先只编写了Goldstein线性搜索的函数,关于Goldstein原则,可以参看最优化课本. 线性搜

  • python 梯度法求解函数极值的实例

    如下所示: #coding utf-8 a=0.001 #定义收敛步长 xd=1 #定义寻找步长 x=0 #定义一个种子x0 i=0 #循环迭代次数 y=0 dic={} import math def f(x): y=math.sin(x) #定义函数f(X)=sinx return y def fd(x): y=math.cos(x) #函数f(x)导数fd(X)=cosx return y while y>=0 and y<3.14*4: y=y+xd x=y while abs(fd(

  • python 寻找离散序列极值点的方法

    使用 scipy.signal 的 argrelextrema 函数(API),简单方便 import numpy as np import pylab as pl import matplotlib.pyplot as plt import scipy.signal as signal x=np.array([ 0, 6, 25, 20, 15, 8, 15, 6, 0, 6, 0, -5, -15, -3, 4, 10, 8, 13, 8, 10, 3, 1, 20, 7, 3, 0 ])

  • 梯度下降法介绍及利用Python实现的方法示例

    梯度下降法介绍及利用Python实现的方法示例

    本文主要给大家介绍了梯度下降法及利用Python实现的相关内容,分享出来供大家参考学习,下面话不多说,来一起看看详细的介绍吧. 梯度下降法介绍 梯度下降法(gradient descent),又名最速下降法(steepest descent)是求解无约束最优化问题最常用的方法,它是一种迭代方法,每一步主要的操作是求解目标函数的梯度向量,将当前位置的负梯度方向作为搜索方向(因为在该方向上目标函数下降最快,这也是最速下降法名称的由来). 梯度下降法特点:越接近目标值,步长越小,下降速度越慢. 直观上

  • python梯度下降法的简单示例

    梯度下降法的原理和公式这里不讲,就是一个直观的.易于理解的简单例子. 1.最简单的情况,样本只有一个变量,即简单的(x,y).多变量的则可为使用体重或身高判断男女(这是假设,并不严谨),则变量有两个,一个是体重,一个是身高,则可表示为(x1,x2,y),即一个目标值有两个属性. 2.单个变量的情况最简单的就是,函数hk(x)=k*x这条直线(注意:这里k也是变化的,我们的目的就是求一个最优的   k).而深度学习中,我们是不知道函数的,也就是不知道上述的k.   这里讨论单变量的情况: 在不知道

  • Python自定义线程类简单示例

    Python自定义线程类简单示例

    本文实例讲述了Python自定义线程类.分享给大家供大家参考,具体如下: 一. 代码 # -*- coding:utf-8 -*- #! python2 import threading class mythread(threading.Thread): def __init__(self, num): threading.Thread.__init__(self) self.num = num def run(self): print('I am {0}'.format(self.num))

  • python实现绘制树枝简单示例

    python实现绘制树枝简单示例

    python是解释型语言,本文介绍了Python下利用turtle实现绘图功能的示例,本例所示为Python绘制一个树枝,具体实现代码如下: python是解释型语言,本文介绍了Python下利用turtle实现绘图功能的示例,本例所示为Python绘制一个树枝,具体实现代码如下: import turtle def branch(length,level): if level<=0: return turtle.forward(length) turtle.left(45) branch(0.

  • Docker-client for python详解及简单示例

    Docker-client for python使用指南: 客户端初始化的三种方法 import docker docker.api() docker.APIClient() docker.client() docker.DockerClient() 其实也是docker.client()的一个子集 docker.from_env() 其实就是docker.client()的一个子集 一.初始化客户端 1.Docker客户端的初始化工作 >>> import docker >>

  • Python设计模式之观察者模式简单示例

    Python设计模式之观察者模式简单示例

    本文实例讲述了Python设计模式之观察者模式.分享给大家供大家参考,具体如下: 观察者模式是一个软件设计模式,一个主题对象包涵一系列依赖他的观察者,自动通知观察者的主题对象的改变,通常会调用每个观察者的一个方法.这个设计模式非常适用于分布式事件处理系统. 典型的在观察者模式下: 1.发布者类应该包涵如下方法: 注册能够接收通知的对象 从主对象到注册对象,通知任何变化 未注册对象不能够接收任何通知信息 2.订购者类应该包涵如下: 发布者会调用一个订购者提供的方法,将任何改变告知注册对象. 3.当

  • Python操作CouchDB数据库简单示例

    安装python couchDb库: https://pypi.python.org/pypi/CouchDB/0.10 连接服务器 复制代码 代码如下: >>> import couchdb >>> couch = couchdb.Server('http://example.com:5984/') 创建数据库 复制代码 代码如下: >>> db = couch.create('test') # 新建数据库 >>> db = cou

  • python批量图片处理简单示例

    本文实例讲述了python批量图片处理.分享给大家供大家参考,具体如下: #!/usr/bin/python #coding:utf-8 import os from PIL import Image #源目录 MyPath = 'C:/Users/Eric/Desktop/python_text/20161214/test_Image/' #输出目录 OutPath = 'C:/Users/Eric/Desktop/python_text/20161214/outpath/' def proc

  • Python 线程池用法简单示例

    本文实例讲述了Python 线程池用法.分享给大家供大家参考,具体如下: # -*- coding:utf-8 -*- #! python3 ''' Created on 2019-10-2 @author: Administrator ''' from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import os,time,random def task(n): print('%s is runing' %

  • python中注释用法简单示例

    目录 python中注释 注释描述 注释截图: 1.单行注释 : 2.多行注释: 3.文档注释 补充:注释程序 总结 python中注释 在python中的注释一般分为单行注释.多行注释以及文档注释. 注释描述 在实际开发过程中,有效的代码注释不仅可以提升个人的工作效率,快速了解自己的程序情况,在团队协作开发过程中可以更加方便地让同事学习和调用你的代码.单行注释.多行注释顾名思义用于注释单行和多行.文档注释常用于注释开发过程引入的文档. #注释具体操作: 提示:这里填写问题的分析: 1.单行注释

  • Python实现梯度下降法的示例代码

    Python实现梯度下降法的示例代码

    目录 1.首先读取数据集 2.初始化相关参数 3.定义计算代价函数–>MSE 4.梯度下降 5.执行 1.首先读取数据集 导包并读取数据,数据自行任意准备,只要有两列,可以分为自变量x和因变量y即可即可. import numpy as np import matplotlib.pyplot as plt data = np.loadtxt("data.csv", delimiter=",") x_data = data[:, 0] y_data = data

随机推荐