tensorflow的计算图总结
计算图
在 TensorFlow 中用计算图来表示计算任务。 计算图,是一种有向图,用来定义计算的结构,实际上就是一系列的函数的组合。 用图的方式,用户通过用一些简单的容易理解的数学函数组件,就可以建立一个复杂的运算
在 TensorFlow 使用图,分为两步:建立计算图 和 执行图
图,在形式上由结点 Nodes 和边 Edges 组成。 - Nodes,用圆圈表示,代表一些对数据进行的计算或者操作(Operation)。 - Edges,用箭头表示,是操作之间传递的实际值(Tensor)
建立图
graph = tf.Graph()
访问上下文管理器
with graph.as_default():
用 with 表示我们用 context manager 告诉 TensorFlow 我们要向某个具体的 graph 添加 Op 了
执行图图必须在会话(Session)里被启动,会话(Session)将图的 op 分发到 CPU 或 GPU 之类的设备上,同时提供执行 op 的方法,这些方法执行后,将产生的张量(tensor)返回
## 开启session
sess = tf.Session()`
一旦开启了 Session,就可以用 run() 来计算想要的 Tensor 的值
用完会话,记得关掉
sess.close()
Fetches
fetches是session.run()的一个参数,它可以接收任何一个我们想要执行的op或者Tensor,或者他们对应的list结构。
- 如果是tensor,那么session.run()输出的就是一个Numpy 数组
- 如果是Op,那么session.run()输出的就是None
比如:sess.run(b)就是告诉Session要把计算b所需要的结点都找到按顺序执行并且输出结果。
全局变量初始化
tf.global_variables_initializer()
表示将所有定义的Variable变量都准备好,以便于后续使用,这个Op也可以传给给session.run.比如:
init = tf.global_variables_initializer() … sess.run(init)
张量Tensor和OP
在tensorflow中使用tensor来表示所有的数据结构,计算图中操作Op结点之间传递的都是Tensor
- 定义tensor时可以直接使用numpy传递给Op结点,因为tensorflow的Op可以将python的数据类型转化为tensor包括numbers,booleans,strings或者list。
- 图中的任何结点都叫做Operation简称:Op
- 每个Op的输出会被传递到其他Op或者sess.run()
Variable
Variable,变量是维护图执行过程中的状态信息的,需要它来保持和更新参数数值,是需要动态调整的。
- Tensor 和Operation都是一成不变的,而Variable是可以随着时间改变的
- Variables可以用在任何使用tensor的Op中,它当前的值就会被传递给使用它的Op
- Variable通常的初始值是一些很大的0,1或者随机值tensor,或者内置op:tf.zeros(),tf.ones()等
- Variable在graph中,状态由session管理,也是在session中进行初始化,session可以追踪variable的当前值是多少。
- session可以只初始化一部分variable
- 使用tf.variables_initializer,传入初始化变量列表
- variable的值是可以被改变的
- 比如使用variable.assign(variable),或者variable.assign_add(1)
- 每个session维护独立的variable变量值,同一个variable不同的session值可以是不同的。
- 当各种Optimizer优化器训练机器学习模型时,variable就会随之改变,当使用variable中的trainable=False属性可以不被Optimizer改变。
name_scopes
- name_sopes可以用来管理图,可以把一组Op放到一个组块中
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。