TensorFlow和keras中GPU使用的设置操作

1. 训练运行时候指定GPU

运行时候加一行代码：

CUDA_VISIBLE_DEVICES=1 python train.py

2. 运行过程中按需或者定量分配GPU

tensorflow直接在开启Session时候加几行代码就行，而Keras指定GPU，并限制按需用量和TensorFlow不太一样，因为keras训练是封装好的，不好对Session操作。如下是两种对应的操作。

keras中的操作：

import os
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session

# 指定第一块GPU可用
os.environ["CUDA_VISIBLE_DEVICES"] = "0" #指定GPU的第二种方法

config = tf.ConfigProto()
config.gpu_options.allocator_type = 'BFC' #A "Best-fit with coalescing" algorithm, simplified from a version of dlmalloc.
config.gpu_options.per_process_gpu_memory_fraction = 0.3 #定量
config.gpu_options.allow_growth = True  #按需
set_session(tf.Session(config=config))

TensorFlow中的操作：

#指定GPU
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

#设置GPU定量分配
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.9 # 占用GPU90%的显存
session = tf.Session(config=config)

#设置GPU按需分配
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

补充：Keras以及Tensorflow强制使用CPU，GPU

Keras如果是使用Theano后端的话，应该是自动不使用ＧＰＵ只是用ＣＰＵ的，启动ＧＰＵ使用Theano内部命令即可。

对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的ＧＰＵ，而我需要其必须只运行在ＣＰＵ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录：

使用tensorflow的 with tf.device('/cpu:0'):函数。简单操作就是把所有命令都放在前面所述的域里面。

使用tensorflow声明Session时的参数： 关于tensorflow中Session中的部分参数设置，以及Keras如何设置其调用的Tensorflow的Session，可以参见Keras设定GPU使用内存大小(Tensorflow backend)。

对于Tensorflow，声明Session的时候加入device_count={'gpu':0}即可，代码如下：

import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(device_count={'gpu':0}))

对于Keras,则调用后端函数，设置其使用如上定义的Session即可，代码如下：

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
KTF.set_session(tf.Session(config=tf.ConfigProto(device_count={'gpu':0})))

对于多线程以及ＧＰＵ内存设置等可以参见Keras设定GPU使用内存大小(Tensorflow backend)。

3、第三种是使用CUDA_VISIBLE_DEVICES命令行参数，代码如下：

CUDA_VISIBLE_DEVICES="0" python3 train.py

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 使用Tensorflow-GPU禁用GPU设置(CPU与GPU速度对比)

    禁用GPU设置 # 在import tensorflow之前 import os os.environ['CUDA_VISIBLE_DEVICES'] = '-1' CPU与GPU对比 显卡:GTX 1066 CPU GPU 简单测试:GPU比CPU快5秒 补充知识:tensorflow使用CPU可以跑(运行),但是使用GPU却不能用的情况 在跑的时候可以让加些选项: with tf.Session(config=tf.ConfigProto(allow_soft_placement=True,

  • 运行tensorflow python程序,限制对GPU和CPU的占用操作

    一般情况下,运行tensorflow时,默认会占用可以看见的所有GPU,那么就会导致其它用户或程序无GPU可用,那么就需要限制程序对GPU的占用.并且,一般我们的程序也用不了所有的GPU资源,只是强行霸占着,大部分资源都不会用到,也不会提升运行速度. 使用nvidia-smi可以查看本机的GPU使用情况,如下图,这里可以看出,本机的GPU型号是K80,共有两个K80,四块可用(一个K80包括两块K40). 1.如果是只需要用某一块或某几块GPU,可以在运行程序时,利用如下命令运行:CUDA_VI

  • tensorflow指定CPU与GPU运算的方法实现

    1.指定GPU运算 如果安装的是GPU版本,在运行的过程中TensorFlow能够自动检测.如果检测到GPU,TensorFlow会尽可能的利用找到的第一个GPU来执行操作. 如果机器上有超过一个可用的GPU,除了第一个之外的其他的GPU默认是不参与计算的.为了让TensorFlow使用这些GPU,必须将OP明确指派给他们执行.with......device语句能够用来指派特定的CPU或者GPU执行操作: import tensorflow as tf import numpy as np w

  • 基于Tensorflow使用CPU而不用GPU问题的解决

    之前的文章讲过用Tensorflow的object detection api训练MobileNetV2-SSDLite,然后发现训练的时候没有利用到GPU,反而CPU占用率贼高(可能会有Could not dlopen library 'libcudart.so.10.0'之类的警告).经调查应该是Tensorflow的GPU版本跟服务器所用的cuda及cudnn版本不匹配引起的.知道问题所在之后就好办了. 检查cuda和cudnn版本  首先查看cuda版本: cat /usr/local/

  • TensorFlow和keras中GPU使用的设置操作

    1. 训练运行时候指定GPU 运行时候加一行代码: CUDA_VISIBLE_DEVICES=1 python train.py 2. 运行过程中按需或者定量分配GPU tensorflow直接在开启Session时候加几行代码就行,而Keras指定GPU,并限制按需用量和TensorFlow不太一样,因为keras训练是封装好的,不好对Session操作.如下是两种对应的操作. keras中的操作: import os import tensorflow as tf from keras.ba

  • 对MySQL中字符集的相关设置操作的基本教程

    1.查看字符集相关变量 mysql> show variables like 'character%'; +--------–+-----------+ | Variable_name | Value | +--------–+-----------+ | character_set_client | latin1 | | character_set_connection | latin1 | | character_set_database | latin1 | | character_set

  • 在tensorflow中设置使用某一块GPU、多GPU、CPU的操作

    tensorflow下设置使用某一块GPU(从0开始编号): import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "1" 多GPU: num_gpus = 4 for i in range(num_gpus): with tf.device('/gpu:%d',%i): ... 只是用cpu的

  • 解决Keras TensorFlow 混编中 trainable=False设置无效问题

    这是最近碰到一个问题,先描述下问题: 首先我有一个训练好的模型(例如vgg16),我要对这个模型进行一些改变,例如添加一层全连接层,用于种种原因,我只能用TensorFlow来进行模型优化,tf的优化器,默认情况下对所有tf.trainable_variables()进行权值更新,问题就出在这,明明将vgg16的模型设置为trainable=False,但是tf的优化器仍然对vgg16做权值更新 以上就是问题描述,经过谷歌百度等等,终于找到了解决办法,下面我们一点一点的来复原整个问题. trai

  • Keras设定GPU使用内存大小方式(Tensorflow backend)

    通过设置Keras的Tensorflow后端的全局变量达到. import os import tensorflow as tf import keras.backend.tensorflow_backend as KTF def get_session(gpu_fraction=0.3): '''Assume that you have 6GB of GPU memory and want to allocate ~2GB''' num_threads = os.environ.get('OM

  • 浅谈keras中的batch_dot,dot方法和TensorFlow的matmul

    概述 在使用keras中的keras.backend.batch_dot和tf.matmul实现功能其实是一样的智能矩阵乘法,比如A,B,C,D,E,F,G,H,I,J,K,L都是二维矩阵,中间点表示矩阵乘法,AG 表示矩阵A 和G 矩阵乘法(A 的列维度等于G 行维度),WX=Z import keras.backend as K import tensorflow as tf import numpy as np w = K.variable(np.random.randint(10,siz

  • tensorflow可视化Keras框架中Tensorboard使用示例

    tensorflow可视化Keras框架中Tensorboard使用示例

    目录 Tensorboard详解 使用例子 1.loss和acc 2.权值直方图 3.梯度直方图 实现代码 Tensorboard详解 该类在存放在keras.callbacks模块中.拥有许多参数,主要的参数如下: 1.log_dir: 用来保存Tensorboard的日志文件等内容的位置 2.histogram_freq: 对于模型中各个层计算激活值和模型权重直方图的频率. 3.write_graph: 是否在 TensorBoard 中可视化图像. 4.write_grads: 是否在 T

  • 已安装tensorflow-gpu,但keras无法使用GPU加速的解决

    问题 我们使用anoconda创建envs环境下的Tensorflow-gpu版的,但是当我们在Pycharm设置里的工程中安装Keras后,发现调用keras无法使用gpu进行加速,且使用的是cpu在运算,这就违背了我们安装Tensorflow-gpu版初衷了. 原因 因为我们同时安装了tensorflow和tensorflow-gpu(在-Anaconda3\envs\fyy_tf\Lib\site-packages中可以找到他们的文件夹),使用keras时会默认调用tensorflow,从

  • Tensorflow与Keras自适应使用显存方式

    Tensorflow支持基于cuda内核与cudnn的GPU加速,Keras出现较晚,为Tensorflow的高层框架,由于Keras使用的方便性与很好的延展性,之后更是作为Tensorflow的官方指定第三方支持开源框架. 但两者在使用GPU时都有一个特点,就是默认为全占满模式.在训练的情况下,特别是分步训练时会导致显存溢出,导致程序崩溃. 可以使用自适应配置来调整显存的使用情况. 一.Tensorflow 1.指定显卡 代码中加入 import os os.environ["CUDA_VIS

  • 如何在keras中添加自己的优化器(如adam等)

    本文主要讨论windows下基于tensorflow的keras 1.找到tensorflow的根目录 如果安装时使用anaconda且使用默认安装路径,则在 C:\ProgramData\Anaconda3\envs\tensorflow-gpu\Lib\site-packages\tensorflow处可以找到(此处为GPU版本),cpu版本可在C:\ProgramData\Anaconda3\Lib\site-packages\tensorflow处找到.若并非使用默认安装路径,可参照根目

随机推荐