用tensorflow构建线性回归模型的示例代码

用tensorflow构建简单的线性回归模型是tensorflow的一个基础样例,但是原有的样例存在一些问题,我在实际调试的过程中做了一点自己的改进,并且有一些体会。

首先总结一下tf构建模型的总体套路

1、先定义模型的整体图结构,未知的部分,比如输入就用placeholder来代替。

2、再定义最后与目标的误差函数。

3、最后选择优化方法。

另外几个值得注意的地方是:

1、tensorflow构建模型第一步是先用代码搭建图模型,此时图模型是静止的,是不产生任何运算结果的,必须使用Session来驱动。

2、第二步根据问题的不同要求构建不同的误差函数,这个函数就是要求优化的函数。

3、调用合适的优化器优化误差函数,注意,此时反向传播调整参数的过程隐藏在了图模型当中,并没有显式显现出来。

4、tensorflow的中文意思是张量流动,也就是说有两个意思,一个是参与运算的不仅仅是标量或是矩阵,甚至可以是具有很高维度的张量,第二个意思是这些数据在图模型中流动,不停地更新。

5、session的run函数中,按照传入的操作向上查找,凡是操作中涉及的无论是变量、常量都要参与运算,占位符则要在run过程中以字典形式传入。

以上时tensorflow的一点认识,下面是关于梯度下降的一点新认识。

1、梯度下降法分为批量梯度下降和随机梯度下降法,第一种是所有数据都参与运算后,计算误差函数,根据此误差函数来更新模型参数,实际调试发现,如果定义误差函数为平方误差函数,这个值很快就会飞掉,原因是,批量平方误差都加起来可能会很大,如果此时学习率比较高,那么调整就会过,造成模型参数向一个方向大幅调整,造成最终结果发散。所以这个时候要降低学习率,让参数变化不要太快。

2、随机梯度下降法,每次用一个数据计算误差函数,然后更新模型参数,这个方法有可能会造成结果出现震荡,而且麻烦的是由于要一个个取出数据参与运算,而不是像批量计算那样采用了广播或者向量化乘法的机制,收敛会慢一些。但是速度要比使用批量梯度下降要快,原因是不需要每次计算全部数据的梯度了。比较折中的办法是mini-batch,也就是每次选用一小部分数据做梯度下降,目前这也是最为常用的方法了。

3、epoch概念:所有样本集过完一轮,就是一个epoch,很明显,如果是严格的随机梯度下降法,一个epoch内更新了样本个数这么多次参数,而批量法只更新了一次。

以上是我个人的一点认识,希望大家看到有不对的地方及时批评指针,不胜感激!

#encoding=utf-8
__author__ = 'freedom'
import tensorflow as tf
import numpy as np 

def createData(dataNum,w,b,sigma):
 train_x = np.arange(dataNum)
 train_y = w*train_x+b+np.random.randn()*sigma
 #print train_x
 #print train_y
 return train_x,train_y 

def linerRegression(train_x,train_y,epoch=100000,rate = 0.000001):
 train_x = np.array(train_x)
 train_y = np.array(train_y)
 n = train_x.shape[0]
 x = tf.placeholder("float")
 y = tf.placeholder("float")
 w = tf.Variable(tf.random_normal([1])) # 生成随机权重
 b = tf.Variable(tf.random_normal([1])) 

 pred = tf.add(tf.mul(x,w),b)
 loss = tf.reduce_sum(tf.pow(pred-y,2))
 optimizer = tf.train.GradientDescentOptimizer(rate).minimize(loss)
 init = tf.initialize_all_variables() 

 sess = tf.Session()
 sess.run(init)
 print 'w start is ',sess.run(w)
 print 'b start is ',sess.run(b)
 for index in range(epoch):
  #for tx,ty in zip(train_x,train_y):
   #sess.run(optimizer,{x:tx,y:ty})
  sess.run(optimizer,{x:train_x,y:train_y})
  # print 'w is ',sess.run(w)
  # print 'b is ',sess.run(b)
  # print 'pred is ',sess.run(pred,{x:train_x})
  # print 'loss is ',sess.run(loss,{x:train_x,y:train_y})
  #print '------------------'
 print 'loss is ',sess.run(loss,{x:train_x,y:train_y})
 w = sess.run(w)
 b = sess.run(b)
 return w,b 

def predictionTest(test_x,test_y,w,b):
 W = tf.placeholder(tf.float32)
 B = tf.placeholder(tf.float32)
 X = tf.placeholder(tf.float32)
 Y = tf.placeholder(tf.float32)
 n = test_x.shape[0]
 pred = tf.add(tf.mul(X,W),B)
 loss = tf.reduce_mean(tf.pow(pred-Y,2))
 sess = tf.Session()
 loss = sess.run(loss,{X:test_x,Y:test_y,W:w,B:b})
 return loss 

if __name__ == "__main__":
 train_x,train_y = createData(50,2.0,7.0,1.0)
 test_x,test_y = createData(20,2.0,7.0,1.0)
 w,b = linerRegression(train_x,train_y)
 print 'weights',w
 print 'bias',b
 loss = predictionTest(test_x,test_y,w,b)
 print loss 

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

您可能感兴趣的文章:

  • 运用TensorFlow进行简单实现线性回归、梯度下降示例
(0)

相关推荐

  • 运用TensorFlow进行简单实现线性回归、梯度下降示例

    线性回归属于监督学习,因此方法和监督学习应该是一样的,先给定一个训练集,根据这个训练集学习出一个线性函数,然后测试这个函数训练的好不好(即此函数是否足够拟合训练集数据),挑选出最好的函数(cost function最小)即可. 单变量线性回归: a) 因为是线性回归,所以学习到的函数为线性函数,即直线函数: b) 因为是单变量,因此只有一个x. 我们能够给出单变量线性回归的模型: 我们常称x为feature,h(x)为hypothesis. 上面介绍的方法中,我们肯定有一个疑问,怎样能够看出线性

  • 用tensorflow构建线性回归模型的示例代码

    用tensorflow构建简单的线性回归模型是tensorflow的一个基础样例,但是原有的样例存在一些问题,我在实际调试的过程中做了一点自己的改进,并且有一些体会. 首先总结一下tf构建模型的总体套路 1.先定义模型的整体图结构,未知的部分,比如输入就用placeholder来代替. 2.再定义最后与目标的误差函数. 3.最后选择优化方法. 另外几个值得注意的地方是: 1.tensorflow构建模型第一步是先用代码搭建图模型,此时图模型是静止的,是不产生任何运算结果的,必须使用Session

  • Tensorflow 实现线性回归模型的示例代码

    目录 1.线性与非线性回归 案例讲解 1.数据集 2.读取训练数据Income.csv并可视化展示 3.利用Tensorflow搭建和训练神经网络模型[线性回归模型的建立] 4. 模型预测 1.线性与非线性回归 线性回归 Linear Regression:两个变量之间的关系是一次函数关系的——图像是直线,叫做线性.线性是指广义的线性,也就是数据与数据之间的关系,如图x1. 非线性回归:两个变量之间的关系不是一次函数关系的——图像不是直线,叫做非线性,如图x2. 一元线性回归:只包括一个自变量和

  • Python实现RabbitMQ6种消息模型的示例代码

    RabbitMQ与Redis对比 ​ RabbitMQ是一种比较流行的消息中间件,之前我一直使用redis作为消息中间件,但是生产环境比较推荐RabbitMQ来替代Redis,所以我去查询了一些RabbitMQ的资料.相比于Redis,RabbitMQ优点很多,比如: 具有消息消费确认机制 队列,消息,都可以选择是否持久化,粒度更小.更灵活. 可以实现负载均衡 RabbitMQ应用场景 异步处理:比如用户注册时的确认邮件.短信等交由rabbitMQ进行异步处理 应用解耦:比如收发消息双方可以使用

  • dockerfile指令构建docker镜像的示例代码

    目录 初识Dockerfile 编写一个自己的docker 镜像: DockerFile docker build . 命令 查看镜像是如何生成的 初识Dockerfile Dockerfile就是用来构建docker镜像的构建文件!命令脚本! 通过这个脚本可以生成镜像,镜像是一层层的,脚本是一行行的命令,每行命令都是一层 dockerfile是面向开发的,我们以后要发布项目,作镜像,就需要编写dockerfile文件,这个文件十分简单. Dockerfile镜像之间成为了企业交付的标准,必须掌

  • 基于Cesium实现拖拽3D模型的示例代码

    目录 添加基站模型 拖拽 这个地方是想实现一个什么效果呢?就是使用 cesium 在地图上添加一个3D模型,然后实现拖拽效果. 添加基站模型 然后这篇博文介绍的主要不是添加模型,但是也简单把代码直接粘贴过来吧,就不详细说了. // 添加基站模型 function addSite() { let position = Cesium.Cartesian3.fromDegrees(116.236393, 40.075119, 0); // 设置模型方向 let hpRoll = new Cesium.

  • Python实现构建一个仪表板的示例代码

    目录 简介 内容 1.创建一个Python文件 2.在终端上运行该文件,在本地机器上显示 3.在Heroku上部署仪表板 总结 这将为我们的团队节省每天重复的数据处理时间...... 简介 如果你目前在一个数据或商业智能团队工作,你的任务之一可能是制作一些每日.每周或每月的报告. 虽然获得这些报告并不困难,但还是需要花费不少时间.我们的宝贵时间应该花在更困难的任务上,如训练神经网络或建立数据管道架构. 因此,对于这些平凡的重复性报告,节省我们时间的最好方法是建立一个网络应用程序,其他团队可以自己

  • vue基于Element构建自定义树的示例代码

    说明 做项目的时候要使用到一个自定义的树形控件来构建表格树,在github上搜了一下没有搜索到合适的(好看的)可以直接用的,查看Element的组件说明时发现它的Tree控件可以使用render来自定义节点样式,于是基于它封装了一个可以增.删.改的树形组件,现在分享一下它的使用与实现. 控件演示 github上挂的gif可能会比较卡,有没有大佬知道还有哪里可以挂静态资源的,谢谢..! 控件使用 概要 基于element-ui树形控件的二次封装 提供编辑.删除节点的接口 提供一个next钩子,在业

  • Spring Boot中使用 Spring Security 构建权限系统的示例代码

    Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架.它提供了一组可以在Spring应用上下文中配置的Bean,为应用系统提供声明式的安全访问控制功能,减少了为企业系统安全控制编写大量重复代码的工作. 权限控制是非常常见的功能,在各种后台管理里权限控制更是重中之重.在Spring Boot中使用 Spring Security 构建权限系统是非常轻松和简单的.下面我们就来快速入门 Spring Security .在开始前我们需要一对

  • 使用D3.js构建实时图形的示例代码

    首先你需要在计算机上安装Node和npm. 数据的可视化表示是传递复杂信息的最有效手段之一,D3.js提供了创建这些数据可视化的强大工具和灵活性. D3.js是一个JavaScript库,用于使用SVG,HTML和CSS在Web浏览器中生成动态的交互式数据可视化. D3 提供了各种简单易用的函数,大大简化了 JavaScript 操作数据的难度.由于它本质上是 JavaScript ,所以用 JavaScript 也是可以实现所有功能的,但它能大大减小你的工作量,尤其是在数据可视化方面,D3 已

  • vue+express 构建后台管理系统的示例代码

    一个vue+express 构建的后台管理系统 说明: vue+express 构建的后台管理系统,包括登录.注册.表格的增删改查 github 在线 搭建vue项目: 1.安装vue-cli脚手架 npm install -g vue-cli 2.创建基于webpack模版的项目 vue init webpack my-express 3.安装包依赖并运行 cd my-express npm install npm run dev vue项目基于iview-admin改造的 通过应用生成器工具

随机推荐