Python深度学习之Keras模型转换成ONNX模型流程详解

目录
  • 从Keras转换成PB模型
  • 从PB模型转换成ONNX模型
  • 改变现有的ONNX模型精度
  • 部署ONNX 模型
  • 总结

从Keras转换成PB模型

请注意,如果直接使用Keras2ONNX进行模型转换大概率会出现报错,这里笔者曾经进行过不同的尝试,最后都失败了。

所以笔者的推荐的情况是:首先将Keras模型转换为TensorFlow PB模型。

那么通过tf.keras.models.load_model()这个函数将模型进行加载,前提是你有一个基于h5格式或者hdf5格式的模型文件,最后再通过改变模型的保存格式save_format参数改为tf。即可实现从Keras转换为TensorFow的格式文件了。

import tensorflow as tf
model_path = './models/model.h5'                    # 模型文件
model = tf.keras.models.load_model(model_path)
model.save('tfmodel', save_format='tf')

转换后的模型文件结构是这样的:

.
├── assets
├── keras_metadata.pb
├── saved_model.pb
└── variables
    ├── variables.data-00000-of-00001
    └── variables.index

2 directories, 4 files

从PB模型转换成ONNX模型

从PB模型转换为ONNX模型是很简单的,通过调用tf2onnx这个模块下的convert来进行处理。

你需要做的,只需要将--save-model来指定你已经转换好的TensorFlow模型,使用--output来指定你的ONNX模型输出的路径(需要指定一个独立的文件,如./xx/xx.onnx)

python -m tf2onnx.convert --saved-model ./tfmodel/ --output ./models/model.onnx --opset 11 --verbose

这样我们就得到一个ONNX模型:

.
├── model.h5
├── model.onnx
└── model_fp16.onnx

改变现有的ONNX模型精度

考虑到在不同的计算设备上,半精度和双精度锁带来的性能提升是显而易见的。

这里我使用了一个VGG16的模型来测试了fp16和fp32的性能。

----------------------
VGG Full Precision:
    Data Size: 124
    VGGFullPrecision Timing: 7.462206602096558 Seconds
    Connections: 1824812148
----------------------
VGG Half Precision:
    Data Size: 124
    VGGHalfPrecision Timing(In TensorRT): 2.563319444656372 Seconds
    Connections: 1824812148
----------------------

可以看到,在我这张RTX2060上,启用fp16相较于fp32的性能提升接近3倍。

那么我们该如何将现有的ONNX模型从fp32模型转换成fp16模型呢?

首先我们需要准备一个叫onnxmltools的库。可以通过pip来进行安装。

pip install onnxmltools

确认安装好onnxmltools后,我们通过如下的一段脚本进行精度的转换:

import onnxmltools
# 加载float16_converter转换器
from onnxmltools.utils.float16_converter import convert_float_to_float16
# 使用onnxmltools.load_model()函数来加载现有的onnx模型
# 但是请确保这个模型是一个fp32的原始模型
onnx_model = onnxmltools.load_model('../module/models/model.onnx')
# 使用convert_float_to_float16()函数将fp32模型转换成半精度fp16
onnx_model_fp16 = convert_float_to_float16(onnx_model)
# 使用onnx.utils.save_model()函数来保存,
onnxmltools.utils.save_model(onnx_model_fp16, '../module/models/model_fp16.onnx')

部署ONNX 模型

在部署ONNX模型阶段,我们将使用onnxruntime这个模块。

针对你所将使用的计算设备,如果你是CPU用户,那么你需要使用如下的指令来安装onnxruntime

pip install onnxruntime

反之,如果你的计算设备是是GPU,那么你需要使用如下的指令来安装onnxruntime

pip install onnxruntime-gpu

确认好onnxruntime安装完成后,你只需要使用如下的指令来加载你的ONNX模型即可

import onnxruntime as ort
# 指定onnx模型所在的位置
model_path = './module/models/model.onnx'
# 创建providers参数列表
providers = [
		# 指定模型可用的CUDA计算设备参数
        ('CUDAExecutionProvider', {
        	# 因为这里笔者只有一张GPU,因此GPU ID序列就为0
            'device_id': 0,
            # 这里网络额外策略使用官方默认值
            'arena_extend_strategy': 'kNextPowerOfTwo',
            # 官方这里默认建议的GPU内存迭代上限是2GB,如果你的GPU显存足够大
            # 可以将这里的2修改为其它数值
            'gpu_mem_limit': 2 * 1024 * 1024 * 1024,
            # cudnn转换算法的调用参数设置为完整搜索
            'cudnn_conv_algo_search': 'EXHAUSTIVE',
            # 确认从默认流进行CUDA流赋值
            'do_copy_in_default_stream': True,
        }),
        'CPUExecutionProvider',
    ]
# 使用onnxruntime.InferenceSession()函数创建Session
# 第一参数为模型所在的路径,第二参数为模型的providers参数列表
session = ort.InferenceSession(model_path, providers=providers)
# 通过get_input()函数和get_output()函数获取网络的输入和输出名称
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name
# 使用session.run()函数执行ONNX任务
# 值得注意的是,这里演示使用的ONNX模型是FP32精度的模型
# 如果你使用的fp16模型但传入的数据是fp32类型的会抛出数据异常的错误
# 另外ONNX的异常抛出是十分人性化的,它会指明你在推理是发生异常的具体位置以及应对策略
result = session.run(
                [output_name], {input_name: image.astype(np.float32)})[0]
result = result.argmax()

总结

以下ONNX简介来自于ONNX官方

ONNX 是一种用于表示机器学习模型的开放格式。 ONNX 定义了一组通用运算符——机器学习和深度学习模型的构建块——以及一种通用文件格式,使 AI 开发人员能够使用具有各种框架、工具、运行时和编译器的模型。

因此,ONNX是可以实现无缝的跨平台操作的。另外ONNX也支持了苹果的CoreML,这意味着如果你有需要在你的M1/M2 MacBook或者你的iOS设备上进行ONNX推理,ONNX也提供了对应支持的工具。

未来,ONNX将成为下一代AI研究人员或AI研发人员必备的技能之一。

到此这篇关于Python深度学习之Keras模型转换成ONNX模型流程详解的文章就介绍到这了,更多相关Python Keras模型转ONNX模型内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Python torch.onnx.export用法详细介绍

    目录 函数原型 参数介绍 mode (torch.nn.Module, torch.jit.ScriptModule or torch.jit.ScriptFunction) args (tuple or torch.Tensor) f export_params (bool, default True) verbose (bool, default False) training (enum, default TrainingMode.EVAL) input_names (list of st

  • python神经网络Keras实现GRU及其参数量

    目录 什么是GRU 1.GRU单元的输入与输出 2.GRU的门结构 3.GRU的参数量计算 a.更新门 b.重置门 c.全部参数量 在Keras中实现GRU 实现代码 什么是GRU GRU是LSTM的一个变种. 传承了LSTM的门结构,但是将LSTM的三个门转化成两个门,分别是更新门和重置门. 1.GRU单元的输入与输出 下图是每个GRU单元的结构. 在n时刻,每个GRU单元的输入有两个: 当前时刻网络的输入值Xt: 上一时刻GRU的输出值ht-1: 输出有一个: 当前时刻GRU输出值ht: 2

  • python神经网络Keras搭建RFBnet目标检测平台

    目录 什么是RFBnet目标检测算法 RFBnet实现思路 一.预测部分 1.主干网络介绍 2.从特征获取预测结果 3.预测结果的解码 4.在原图上进行绘制 二.训练部分 1.真实框的处理 2.利用处理完的真实框与对应图片的预测结果计算loss 训练自己的RFB模型 一.数据集的准备 二.数据集的处理 三.开始网络训练 四.训练结果预测 什么是RFBnet目标检测算法 RFBnet是SSD的一种加强版,主要是利用了膨胀卷积这一方法增大了感受野,相比于普通的ssd,RFBnet也是一种加强吧 RF

  • python神经网络Keras实现LSTM及其参数量详解

    目录 什么是LSTM 1.LSTM的结构 2.LSTM独特的门结构 3.LSTM参数量计算 在Keras中实现LSTM 实现代码 什么是LSTM 1.LSTM的结构 我们可以看出,在n时刻,LSTM的输入有三个: 当前时刻网络的输入值Xt: 上一时刻LSTM的输出值ht-1: 上一时刻的单元状态Ct-1. LSTM的输出有两个: 当前时刻LSTM输出值ht: 当前时刻的单元状态Ct. 2.LSTM独特的门结构 LSTM用两个门来控制单元状态cn的内容: 遗忘门(forget gate),它决定了

  • python神经网络Keras常用学习率衰减汇总

    目录 前言 为什么要调控学习率 下降方式汇总 2.指数型下降 3.余弦退火衰减 4.余弦退火衰减更新版 前言 增加了论文中的余弦退火下降方式.如图所示: 学习率是深度学习中非常重要的一环,好好学习吧! 为什么要调控学习率 在深度学习中,学习率的调整非常重要. 学习率大有如下优点: 1.加快学习速率. 2.帮助跳出局部最优值. 但存在如下缺点: 1.导致模型训练不收敛. 2.单单使用大学习率容易导致模型不精确. 学习率小有如下优点: 1.帮助模型收敛,有助于模型细化. 2.提高模型精度. 但存在如

  • Python深度学习之Keras模型转换成ONNX模型流程详解

    目录 从Keras转换成PB模型 从PB模型转换成ONNX模型 改变现有的ONNX模型精度 部署ONNX 模型 总结 从Keras转换成PB模型 请注意,如果直接使用Keras2ONNX进行模型转换大概率会出现报错,这里笔者曾经进行过不同的尝试,最后都失败了. 所以笔者的推荐的情况是:首先将Keras模型转换为TensorFlow PB模型. 那么通过tf.keras.models.load_model()这个函数将模型进行加载,前提是你有一个基于h5格式或者hdf5格式的模型文件,最后再通过改

  • Python深度学习实战PyQt5窗口切换的堆叠布局示例详解

    目录 1. 堆叠布局简介 1. 1什么是堆叠布局(Stacked Layout) 1.2 堆叠布局的实现方法 2. 创建多窗口切换的堆叠布局 3. 堆叠布局的主程序设计 3.1 QStackedWidget 类 3.2 建立信号/槽连接 3.3 页面控制程序 3.4 堆叠布局中的控件操作 软件项目中经常需要多种不同的图形界面,以适应不同的任务场景.选项卡控件(QTackedWidget)通过标签选择打开对应的对话框页面,不需要另外编程.堆叠窗口控件(QStackedWidget)在主程序中通过编

  • PyTorch深度学习模型的保存和加载流程详解

    一.模型参数的保存和加载 torch.save(module.state_dict(), path):使用module.state_dict()函数获取各层已经训练好的参数和缓冲区,然后将参数和缓冲区保存到path所指定的文件存放路径(常用文件格式为.pt..pth或.pkl). torch.nn.Module.load_state_dict(state_dict):从state_dict中加载参数和缓冲区到Module及其子类中 . torch.nn.Module.state_dict()函数

  • Go结合反射将结构体转换成Excel的过程详解

    目录 Excel中的一些概念 使用tealeg操作Excel 安装tealeg 使用tealeg新建一个表格 Go结合反射将结构体转换成Excel 反射获取每个Struct中的Tag 通过反射将结构体的值转换成map[excelTag]strucVal 利用反射将一个Silce,Array或者Struct转换成[]map[excelTag]strucVal 通过tealeg将[]map[excelTag]strucVal转换成Excel 运行测试用例验证 Excel中的一些概念 一个excel文

  • 用python把ipynb文件转换成pdf文件过程详解

    这两天一直在做课件,我个人一直不太喜欢PPT这个东西--能不用就不用,我个人特别崇尚极简风. 谁让我们是程序员呢,所以就爱上了Jupyter写课件,讲道理markdown也是个非常不错的写书格式啊. 安装Jupyter其实非常简单,你会python就应该会用jupyter,起码简单的 pip install jupyter, jupyter notebook 要会对伐- 好那接下来就是使用jupyter了,启动jupyter后,使用浏览器访问相应IP:Port就可以使用了.没错,jupyter就

  • python把ipynb文件转换成pdf文件过程详解

    这两天一直在做课件,我个人一直不太喜欢PPT这个东西--能不用就不用,我个人特别崇尚极简风. 谁让我们是程序员呢,所以就爱上了Jupyter写课件,讲道理markdown也是个非常不错的写书格式啊. 安装Jupyter其实非常简单,你会python就应该会用jupyter,起码简单的 pip install jupyter, jupyter notebook 要会对伐- 好那接下来就是使用jupyter了,启动jupyter后,使用浏览器访问相应IP:Port就可以使用了.没错,jupyter就

  • Python基础学习之类与实例基本用法与注意事项详解

    本文实例讲述了Python基础学习之类与实例基本用法与注意事项.分享给大家供大家参考,具体如下: 前言 和其他编程语言相比,Python用非常少的新语法和语义将类加入到语言中.Python的类提供了面向对象编程的所有标准特性:类继承机制允许多个基类,派生类可以覆盖它基类的任何方法,一个方法可以调用基类中相同名称的的方法.对象可以包含任意数量和类型的数据.和模块一样,类也拥有Python天然的动态特性:它们在运行时创建,可以在创建后修改. Python的类 Python类实例时,先调用__new_

  • php实现将二维关联数组转换成字符串的方法详解

    本文实例讲述了php实现将二维关联数组转换成字符串的方法.分享给大家供大家参考,具体如下: 需求 项目中遇到了二维关联数组转字符串的问题,查阅相关资料,写了如下程序,并且能过滤重复的关键字. 举例,php的二维数组如下: $name = array( "self" => "wangzhengyi", "student" => array( "chenshan", "xiaolingang" ),

  • asp.net开发sql server转换成oracle的方法详解

    前言 因为前段时间我们公司项目 要把sql server 转oracle,发现网上这方面的资料较少,所以在这里分享一下心得,也记录一下问题,下面话不多说了,来一起看看详细的介绍: 开始我研究了一段时间 然后下载了 oracle 11g 版本 和 PL/SQL(客户端) 和sql server 不同的是 oracle 没有自己的客户端 需要用第三方的软件运行 PL/SQL 就是一个 sqldeveloper 也是一个,PL/SQL 我觉得比较稳定一点.但是2个都安装的话 刚好互补了 oracle

  • python基础学习之如何对元组各个元素进行命名详解

    元祖的创建 元祖创建很简单,只需要在括号中添加元素,并使用逗号隔开即可. >>> temp=(1) >>> temp 1 >>> type(temp) <class 'int'> >>> temp2=1,2,3,4,5 >>> temp2 (1, 2, 3, 4, 5) >>> type(temp2) <class 'tuple'> >>> temp=[]

随机推荐