TensorFlow通过文件名/文件夹名获取标签,并加入队列的实现

TensorFlow官网给的cifar-10教程，是卷积神经网络入门的好例子，有时想直接拿这个模型来跑自己的数据，却发现他的数据类型不是常见的，我们一般获取的数据（图片）以文件夹分类存好，或者直接在文件名上注明了类别，这时就要通过文件名的来获取标签，显然直接用cifar-10的方式是不行的。

这里当然可以吧数据转化成cifar-10那种类型，不过个人不喜欢这种方式吧。

另一种就还是老办法，对文件名进行处理，获取标签。

其实处理文件名，对python来说，很简单。只是刚接触卷积神经网络的，可能并不熟悉TensorFlow的用法（本人），怎么修改代码才能以这种方式读取数据进队列呢？

看代码：

import tensorflow as tf
import os

#这就是数据所在的路径，其子目录是若干个文件夹，分别对应一类数据，
#文件夹下存放的就是对应那一类的数据。
#命名方式：1，2，3，4····（代表不同的类别，简单粗暴）
path="./data"

classes=2#数据类别的数量
imagesList=[]#存放图片数据的列表（这里存放的仅仅是图片所在的路径，并不是图片）
labelsList=[]#存放标签，与上面图片是一一对应的
filepaths=[os.path.join(path,"%d"%i)for i in range (1,classes+1)]#存放path的子目录的路径
for p in filepaths:
 for filename in os.listdir(p):#获取图片的名字
  imagesList.append(os.path.join(p,filename))#图片名和路径拼接，然后如队列
  labelsList.append(int(p[-1]))#这里是按照命名的方式，p的最后一个字符就是类别

image = tf.cast(imagesList,tf.string)#转化成tf的数据类型
label = tf.cast(labelsList,tf.int64)
queue = tf.train.slice_input_producer([image,label])#生成队列，这里也就关键的地方
label = queue[1]
image_c = tf.read_file(queue[0])
image = tf.image.decode_jpeg(image_c,channels = 3)
training_image_data = tf.image.resize_images(image, [2, 2]) #这个函数是重塑行，具体干嘛不清楚，不用有时报错
example_batch, label_batch = tf.train.shuffle_batch([training_image_data,label], batch_size=1, capacity=2, min_after_dequeue=1) #生成Batch
# 运行Graph
with tf.Session() as sess:
 coord = tf.train.Coordinator() #创建一个协调器，管理线程
 threads = tf.train.start_queue_runners(coord=coord) #启动QueueRunner, 此时文件名队列已经进队。
 for i in range(6):
  e_val,l_val = sess.run([example_batch, label_batch])
  print (e_val,l_val)#弄些简单的数据来测试效果。

 coord.request_stop()
 coord.join(threads)

以上这篇TensorFlow通过文件名/文件夹名获取标签,并加入队列的实现就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 详解Tensorflow数据读取有三种方式（next_batch）

    详解Tensorflow数据读取有三种方式（next_batch）

    Tensorflow数据读取有三种方式: Preloaded data: 预加载数据 Feeding: Python产生数据,再把数据喂给后端. Reading from file: 从文件中直接读取 这三种有读取方式有什么区别呢? 我们首先要知道TensorFlow(TF)是怎么样工作的. TF的核心是用C++写的,这样的好处是运行快,缺点是调用不灵活.而Python恰好相反,所以结合两种语言的优势.涉及计算的核心算子和运行框架是用C++写的,并提供API给Python.Python调用这些A

  • TensorFlow实现从txt文件读取数据

    TensorFlow从txt文件中读取数据的方法很多有种,我比较常用的是下面两种: [1]np.loadtxt import numpy as np data=np.loadtxt('ex1data1.txt',dtype='float',delimiter=',') X_train=data[:,0] y_train=data[:,1] [2]pd.read_csv import pandas as pd data=pd.read_csv("ex2data2.txt",names=[

  • 基于Tensorflow批量数据的输入实现方式

    基于Tensorflow下的批量数据的输入处理: 1.Tensor TFrecords格式 2.h5py的库的数组方法 在tensorflow的框架下写CNN代码,我在书写过程中,感觉不是框架内容难写, 更多的是我在对图像的预处理和输入这部分花了很多精神. 使用了两种方法: 方法一: Tensor 以Tfrecords的格式存储数据,如果对数据进行标签,可以同时做到数据打标签. ①创建TFrecords文件 orig_image = '/home/images/train_image/' gen

  • 基于Tensorflow高阶读写教程

    前言 tensorflow提供了多种读写方式,我们最常见的就是使用tf.placeholder()这种方法,使用这个方法需要我们提前处理好数据格式,不过这种处理方法也有缺陷:不便于存储和不利于分布式处理,因此,TensorFlow提供了一个标准的读写格式和存储协议,不仅如此,TensorFlow也提供了基于多线程队列的读取方式,高效而简洁,读取速度也更快,据一个博主说速度能提高10倍,相当的诱人.[下面的实验均是在tensorflow1.0的环境下进行] tensorflow的example解析

  • TensorFlow通过文件名/文件夹名获取标签,并加入队列的实现

    TensorFlow官网给的cifar-10教程,是卷积神经网络入门的好例子,有时想直接拿这个模型来跑自己的数据,却发现他的数据类型不是常见的,我们一般获取的数据(图片)以文件夹分类存好,或者直接在文件名上注明了类别,这时就要通过文件名的来获取标签,显然直接用cifar-10的方式是不行的. 这里当然可以吧数据转化成cifar-10那种类型,不过个人不喜欢这种方式吧. 另一种就还是老办法,对文件名进行处理,获取标签. 其实处理文件名,对python来说,很简单.只是刚接触卷积神经网络的,可能并不

  • python根据完整路径获得盘名/路径名/文件名/文件扩展名的方法

    1.获得盘名os.path.splitdrive(path) import os path="C:\\Users\\wuyanzu\\x1.jpg" drive,rem=os.path.splitdrive(path) print(drive) print(rem) #输出: C: \Users\wuyanzu\x1.jpg 2.获得路径与文件名os.path.split(path) import os path="C:\\Users\\wuyanzu\\x1.jpg&quo

  • 利用DIR命令批量输出文件夹名或文件名的代码

    利用DIR命令批量输出文件夹名或文件名的代码

    操作办法:1.新建记事本,对照"新建文件夹"手工输入: 2.新建记事本,F2"A1",Ctrl+C,Ctrl+V:F2"A7",Ctrl+C,Ctrl+V:~~F2"A5000",Ctrl+C,Ctrl+V.一个一个地复制文件名: 3.打开命令提示行,进入"新建文件夹"目录,输入"DIR /B >1.txt ". 显然,利用DIR命令省事. 来认识一下DIR命令吧. 可见DOS命令

  • PHP 文件扩展名 获取函数

    复制代码 代码如下: <?php $file = "/home/lvyaozu/backup_20080115.txt"; for($i=1; $i < 6; $i++) { $func = 'get_file_ext_' . $i; var_dump($func($file)); } function get_file_ext_1($file) { return strtolower(trim(substr(strrchr($file, '.'), 1))); } fun

  • Java实现读取文件夹下（包括子目录）所有文件的文件名

    在编程的过程中,经常会用到对文件的读写操作等.比如,找出某一个文件夹下的所有文件名等. 下面的程序给出了,获取某一给定文件夹下所有文件的绝对路径的程序.可以作为某一个模块,在需要的时候直接使用. package src; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStrea

  • Python3.遍历某文件夹提取特定文件名的实例

    批量处理文件时,常需要先遍历某个路径提取特定条件的文件名.这篇写一个暴力遍历但很简洁的方法,真的非常简洁但是非常暴力. 例子目标是:获得存放遥感数据的文件夹下文件夹名以"_BAD"结尾的文件夹内容.因为该文件下分级很多(年/月/产品类型/),目标文件夹很多且存在在最后一级,手动查看很烦. 代码如下(知识点总结代码后): # -*- coding: utf-8 -*- """ 遍历某路径下所有文件夹,获得特定文件夹下所有文件 很暴力,真的遍历了所有的文件夹

  • C++实现读取特定路径下文件夹及文件名的方法

    本文所述实例代码主要实现读取给定路径下的所有文件夹名称或所有带后缀的文件名的功能.具体解决方法如下:   主要用到了以下几个头文件(类):io.h, fstream, string.   首先,读取某给定路径下所有文件夹与文件名称,并带完整路径.实现代码如下: void getAllFiles( string path, vector<string>& files) { //文件句柄 long hFile = 0; //文件信息 struct _finddata_t fileinfo;

  • 处理驱动器和文件夹

    使用 FileSystemObject (FSO) 对象模式,可以有计划地处理驱动器和文件夹,就像在 Windows 资源管理器中交互式地处理它们一样.可以复制和移动文件夹,获取有关驱动器和文件夹的信息,等等. 获取有关驱动器的信息 可以用 Drive 对象来获得有关各种驱动器的信息,这些驱动器是实物地或通过网络连接到系统上的.它的属性可以用来获得下面的信息内容: 驱动器的总容量,以字节为单位(TotalSize 属性) 驱动器的可用空间是多少,以字节为单位(AvailableSpace 或 F

  • C#对文件/文件夹操作代码汇总

    C#追加文件 StreamWriter sw = File.AppendText(Server.MapPath(".")+"\\myText.txt"); sw.WriteLine("追逐理想"); sw.WriteLine("kzlll"); sw.WriteLine(".NET笔记"); sw.Flush(); sw.Close(); C#拷贝文件 string OrignFile,NewFile; O

  • 读取android根目录下的文件或文件夹实例

    读取android根目录下的文件或文件夹实例

    最近几天真的是各种意义上的忙,忙着考试,还要忙着课程设计,手上又有外包的项目,另一边学校的项目还要搞,自己的东西还在文档阶段,真的是让人想死啊!! 近半个月来,C#这方面的编码比较多,android和java这里完全搁置了,于是抽空写个小例子. 这个例子非常小,就是一个读取android根目录下的文件夹或文件,当做热一下身. @Override public void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstan

随机推荐