Python与人工神经网络:使用神经网络识别手写图像介绍
人体的视觉系统是一个相当神奇的存在，对于下面的一串手写图像，可以毫不费力的识别出他们是504192，轻松到让人都忘记了其实这是一个复杂的工作。
实际上在我们的大脑的左脑和右脑的皮层都有一个第一视觉区域，叫做V1，里面有14亿视觉神经元。而且，在我们识别上面的图像的时候，工作的不止有V1，还有V2、V3、V4、V5，所以这么一看，我们确实威武。
但是让计算机进行模式识别，就比较复杂了，主要困难在于我们如何给计算机描述一个数字9在图像上应该是怎样的，比如我们跟计算机说，9的上面是一个圈，下右边是1竖。然而有的人写9会带勾，有的人还会在圈周围多出点什么，总的来说，这种描述法太容易出现其他状况。况且，我们这里讨论的还只是数字，涉及到字母、汉字、符号就回更复杂。
于是人们就有了另外一种途径，那就是我们不用告诉计算机什么是9，我们可以把他当作一个小孩子，让他见很多9的图片，对他说，这是9，记得哈。慢慢的他就形成了自己的评判标准，等他长大了，自然就知道以后遇到的图片是不是9了。让我们人学习的方式是见闻，让计算机学习的就是给他数据，这个数据通常被叫做训练样本（如图），而这套学习的方法，就是神经网络了。
感知机（Perceptrons）
在说人工神经网络之前，我们先说另外一个人工神经元系统，叫感知机（Perceptrons）。感知机模型是这样的：
其中x1，x2，x3是二进制的输入值，output是二进制的输出值。在每个输入端，还会有一个权重，w1，w2，w3。output取决于x1*w1+x2*w2+x3*w3，如果他小于等于一个临界值的时候，output就输出0，大于等于那个临界值的时候，output就输出1。当然输入值可以是任意多个，用公式表示就是：
output={01if ∑jwjxj≤ thresholdif ∑jwjxj> threshold
感知机模型就这么简单，他是一个相当好的决策系统，用来解决是或者不是，去或者不去，熟悉我的朋友可能知道我从古代儒家修身的功过格受启发，自己制定的一套决策系统，也是用因素*权重然后汇总，看得到的正面因素占优还是负面的因素占优，最后做决策，真是相当好用，只不过那时候还不知道感知机模型。
我们把Σwjxj用w·x表示，把临界值提到等号右边，用-b表示，那么上面的等式就如下所示：
b一般称作偏差。
既然有一层的感知机模型，多层的就很好理解了，如图：
这个多层（从左到右）的感知机里面，第一层的感知机比较简单，只根据输入的值和权重就可以得出结果，第二层的结果就得根据第一层的结果和相应的的权重了，与复杂度相对应，他也就可以用来做更加复杂和抽象的决定，第三层就更复杂了。
这种上世纪五十年代就出来的神经元系统功能强大，但是对于机器学习有一个重大的缺陷。我们教小孩子的时候，小孩子进步一点点，我们就鼓励他一下，小孩子退步一点点，我们就批评一下，他从我们的批评和鼓励中自动的去调整自己的认知，慢慢的成长。但是这个感知机就不同了，他的输入值只有0和1，他的成长没有一点点的说法，所以压根就不知道怎么调整，可能内部参数调整的乱七八糟，输出的结果还是不变的。要实现学习和进步，就得有这么一点点一点点进步的概念，也就是说，w或者b变了一点点，那么输出值就得变一点点，总的来说，就是要实现下图所示的效果：
于是新一代的神经元系统就出世了，他叫S曲线神经元系统（Sigmoid neurons）。
S曲线神经元系统（Sigmoid neurons）
简单来说，S曲线神经元系统和感知机系统的区别在于我们的输入值x1,x2,x3和输出值output都不是0和1了，改为从0到1之间的任何实数。而且规定，对我输出值output，由于是与w·x和b相关的，我们可以用σ(w·x,b)表示，他满足函数：
把w·x和b带进去，就是：
试着看下，如果当w·x + b→+∞的时候，e^-(w·x+b)→0，σ(w·x,b)→1。相反，当w·x + b→-∞的时候，σ(w·x,b)→0，所以，感知机系统也是一个特殊的S曲线神经元系统。
至于为什么σ(w·x,b)必须满足上述的函数呢。请看σ(z)的图形：
他的定义域是(-∞,+∞)，值域是(0,1)，也就是说，不管w·x和b怎么折腾，总能保证输出值在0到1之间。特别的，当我们对一个事情做决定时，比如我们让计算机决定看到的一个图形是不是9，0到1之间的一个数，可以在物理意义上对应他是9的概率。（我后来才意识道，这个说法是错误的）
我们说，我们抛弃感知器，采用S曲线神经元系统，是为了让输出结果的变动和我们采取权重w和偏离b的变动对应起来。那么对于方程output = σ(w·x,b)，由于输入值x是已知的常数，根据全微分的定义，有：
输出值的变动和我们选用的参数变动就对应起来了。
构造我们的神经网络
在我们构建神经网络的过程中，一般也会把输入的数据当作神经元，输入的那层叫做输入层，中间可能有多层，通常被叫做隐藏层，输出的那一层就叫做输出层。如图：
在设计神经网络时，一般会采取简单粗暴的方式，比如我们要让计算机识别手写稿的扫描件图像，其中的一个字的图像像素个数是64*64=4096个，那么我们设计神经网络的时候，输入层神经元个数就是4096个，其中每个神经元的输入数据就是该像素的灰度值（参照文章的第一幅图）归一化成0到1之间的数值。而我们要识别出的结果，可能包括数字0-9加26个大大小写字母再加六千常用汉字，那我们设计的输出层神经元个数就用过是10+26*2+6000=6062个，其中每个神经元对应一个我们要识别的结果。
具体到本实例中，训练样本和识别测试数据是28*28像素的，输出结果只有10个数字，那么输入层就应该是786个神经元，输出层是10个神经元。至于中间隐藏层的神经元，作者选了15个，说是经过了多次实验，15个的效果比较好。就我的理解，应该是越多约好的（不一定正确），不过越多也意味着运算量越大，所以作者最后选了15个。最终设计的结果如图：
最后还有一个问题，如果是连续的书写手稿，怎么把他分割成一个个的。作者说实际上这个问题可以在我们完成通过神经网络进行识别之后再说，因为识别出来谁都不像的，就说明应该要分割了，那我们也就跟着作者的思路，暂时先不管。
总结
以上就是本文关于Python与人工神经网络:使用神经网络识别手写图像介绍的全部内容吗，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站：
神经网络理论基础及Python实现详解
神经网络python源码分享
70行Java代码实现深度神经网络算法分享
如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
相关推荐
-
Python实现感知器模型、两层神经网络
本文实例为大家分享了Python实现感知器模型.两层神经网络,供大家参考,具体内容如下 python 3.4 因为使用了 numpy 这里我们首先实现一个感知器模型来实现下面的对应关系 [[0,0,1], --- 0 [0,1,1], --- 1 [1,0,1], --- 0 [1,1,1]] --- 1 从上面的数据可以看出:输入是三通道,输出是单通道. 这里的激活函数我们使用 sigmoid 函数 f(x)=1/(1+exp(-x)) 其导数推导如下所示: L0=W*X; z=f(L0);
-
神经网络python源码分享
神经网络的逻辑应该都是熟知的了,在这里想说明一下交叉验证 交叉验证方法: 看图大概就能理解了,大致就是先将数据集分成K份,对这K份中每一份都取不一样的比例数据进行训练和测试.得出K个误差,将这K个误差平均得到最终误差 这第一个部分是BP神经网络的建立 参数选取参照论文:基于数据挖掘技术的股价指数分析与预测研究_胡林林 import math import random import tushare as ts import pandas as pd random.seed(0) def getD
-
Python实现的递归神经网络简单示例
本文实例讲述了Python实现的递归神经网络.分享给大家供大家参考,具体如下: # Recurrent Neural Networks import copy, numpy as np np.random.seed(0) # compute sigmoid nonlinearity def sigmoid(x): output = 1/(1+np.exp(-x)) return output # convert output of sigmoid function to its derivati
-
Python实现的人工神经网络算法示例【基于反向传播算法】
本文实例讲述了Python实现的人工神经网络算法.分享给大家供大家参考,具体如下: 注意:本程序使用Python3编写,额外需要安装numpy工具包用于矩阵运算,未测试python2是否可以运行. 本程序实现了<机器学习>书中所述的反向传播算法训练人工神经网络,理论部分请参考我的读书笔记. 在本程序中,目标函数是由一个输入x和两个输出y组成, x是在范围[-3.14, 3.14]之间随机生成的实数,而两个y值分别对应 y1 = sin(x),y2 = 1. 随机生成一万份训练样例,经过网络的学
-
神经网络理论基础及Python实现详解
一.多层前向神经网络 多层前向神经网络由三部分组成:输出层.隐藏层.输出层,每层由单元组成: 输入层由训练集的实例特征向量传入,经过连接结点的权重传入下一层,前一层的输出是下一层的输入:隐藏层的个数是任意的,输入层只有一层,输出层也只有一层: 除去输入层之外,隐藏层和输出层的层数和为n,则该神经网络称为n层神经网络,如下图为2层的神经网络: 一层中加权求和,根据非线性方程进行转化输出:理论上,如果有足够多的隐藏层和足够大的训练集,可以模拟出任何方程: 二.设计神经网络结构 使用神经网络之前,必须
-
Python基于numpy灵活定义神经网络结构的方法
本文实例讲述了Python基于numpy灵活定义神经网络结构的方法.分享给大家供大家参考,具体如下: 用numpy可以灵活定义神经网络结构,还可以应用numpy强大的矩阵运算功能! 一.用法 1). 定义一个三层神经网络: '''示例一''' nn = NeuralNetworks([3,4,2]) # 定义神经网络 nn.fit(X,y) # 拟合 print(nn.predict(X)) #预测 说明: 输入层节点数目:3 隐藏层节点数目:4 输出层节点数目:2 2).定义一个五层神经网络:
-
简单了解什么是神经网络
深度学习这个词指的是训练神经网络.深代表着非常大的神经网络.那么神经网络到底是什么呢?看了这篇文章后你就会有很直观的认识了. 我们从一个房价预测的例子开始吧.因为现在房价太他妈贵了,早8年前我父母说帮我在北京买个房,我觉得不能靠家里人,所以拒绝了,现在想想,我就是个傻逼,那时候买了,我现在就不用写博客了~~ 据说房价都是国人自己炒的,但除了炒作,还是有些真实因素影响着房价的,通过对这些因素进行分析,我们就可以预测房价.假设你有一个数据集(六个房屋的面积和价格).你想要找到一个方法(即构建一个函数
-
Python与人工神经网络:使用神经网络识别手写图像介绍
人体的视觉系统是一个相当神奇的存在,对于下面的一串手写图像,可以毫不费力的识别出他们是504192,轻松到让人都忘记了其实这是一个复杂的工作. 实际上在我们的大脑的左脑和右脑的皮层都有一个第一视觉区域,叫做V1,里面有14亿视觉神经元.而且,在我们识别上面的图像的时候,工作的不止有V1,还有V2.V3.V4.V5,所以这么一看,我们确实威武. 但是让计算机进行模式识别,就比较复杂了,主要困难在于我们如何给计算机描述一个数字9在图像上应该是怎样的,比如我们跟计算机说,9的上面是一个圈,下右边是1竖
-
Python神经网络TensorFlow基于CNN卷积识别手写数字
目录 基础理论 一.训练CNN卷积神经网络 1.载入数据 2.改变数据维度 3.归一化 4.独热编码 5.搭建CNN卷积神经网络 5-1.第一层:第一个卷积层 5-2.第二层:第二个卷积层 5-3.扁平化 5-4.第三层:第一个全连接层 5-5.第四层:第二个全连接层(输出层) 6.编译 7.训练 8.保存模型 代码 二.识别自己的手写数字(图像) 1.载入数据 2.载入训练好的模型 3.载入自己写的数字图片并设置大小 4.转灰度图 5.转黑底白字.数据归一化 6.转四维数据 7.预测 8.显示
-
Python Opencv使用ann神经网络识别手写数字功能
opencv中也提供了一种类似于Keras的神经网络,即为ann,这种神经网络的使用方法与Keras的很接近.关于mnist数据的解析,读者可以自己从网上下载相应压缩文件,用python自己编写解析代码,由于这里主要研究knn算法,为了图简单,直接使用Keras的mnist手写数字解析模块.本次代码运行环境为:python 3.6.8opencv-python 4.4.0.46opencv-contrib-python 4.4.0.46 下面的代码为使用ann进行模型的训练: from kera
-
Python实现识别手写数字 Python图片读入与处理
写在前面 在上一篇文章Python徒手实现手写数字识别-大纲中,我们已经讲过了我们想要写的全部思路,所以我们不再说全部的思路. 我这一次将图片的读入与处理的代码写了一下,和大纲写的过程一样,这一段代码分为以下几个部分: 读入图片: 将图片读取为灰度值矩阵: 图片背景去噪: 切割图片,得到手写数字的最小矩阵: 拉伸/压缩图片,得到标准大小为100x100大小矩阵: 将图片拉为1x10000大小向量,存入训练矩阵中. 所以下面将会对这几个函数进行详解. 代码分析 基础内容 首先我们现在最前面定义基础
-
Python实现识别手写数字大纲
写在前面 其实我之前写过一个简单的识别手写数字的程序,但是因为逻辑比较简单,而且要求比较严苛,是在50x50大小像素的白底图上手写黑色数字,并且给的训练材料也不够多,导致准确率只能五五开.所以这一次准备写一个加强升级版的,借此来提升我对Python处理文件与图片的能力. 这次准备加强难度: 被识别图片可以是任意大小: 不一定是白底图,只要数字颜色是黑色,周围环境是浅色就行: 加强识别手写数字的逻辑,提升准确率. 因为我还没开始正式写,并且最近专业课程学习也比较紧迫,所以可能更新的比较慢.不过放心
-
python实现识别手写数字 python图像识别算法
写在前面 这一段的内容可以说是最难的一部分之一了,因为是识别图像,所以涉及到的算法会相比之前的来说比较困难,所以我尽量会讲得清楚一点. 而且因为在编写的过程中,把前面的一些逻辑也修改了一些,将其变得更完善了,所以一切以本篇的为准.当然,如果想要直接看代码,代码全部放在我的GitHub中,所以这篇文章主要负责讲解,如需代码请自行前往GitHub. 本次大纲 上一次写到了数据库的建立,我们能够实时的将更新的训练图片存入CSV文件中.所以这次继续往下走,该轮到识别图片的内容了. 首先我们需要从文件夹中
-
Python实现识别手写数字 简易图片存储管理系统
写在前面 上一篇文章Python实现识别手写数字-图像的处理中我们讲了图片的处理,将图片经过剪裁,拉伸等操作以后将每一个图片变成了1x10000大小的向量.但是如果只是这样的话,我们每一次运行的时候都需要将他们计算一遍,当图片特别多的时候会消耗大量的时间. 所以我们需要将这些向量存入一个文件当中,每次先看看图库中有没有新增的图片,如果有新增的图片,那么就将新增的图片变成1x10000向量再存入文件之中,然后从文件中读取全部图片向量即可.当图库中没有新增图片的时候,那么就直接调用文件中的图片向量进
-
python使用KNN算法识别手写数字
本文实例为大家分享了python使用KNN算法识别手写数字的具体代码,供大家参考,具体内容如下 # -*- coding: utf-8 -*- #pip install numpy import os import os.path from numpy import * import operator import time from os import listdir """ 描述: KNN算法实现分类器 参数: inputPoint:测试集 dataSet:训练集 lab
-
Python利用逻辑回归模型解决MNIST手写数字识别问题详解
本文实例讲述了Python利用逻辑回归模型解决MNIST手写数字识别问题.分享给大家供大家参考,具体如下: 1.MNIST手写识别问题 MNIST手写数字识别问题:输入黑白的手写阿拉伯数字,通过机器学习判断输入的是几.可以通过TensorFLow下载MNIST手写数据集,通过import引入MNIST数据集并进行读取,会自动从网上下载所需文件. %matplotlib inline import tensorflow as tf import tensorflow.examples.tutori
-
Python利用 SVM 算法实现识别手写数字
目录 前言 使用 SVM 进行手写数字识别 参数 C 和 γ 对识别手写数字精确度的影响 完整代码 前言 支持向量机 (Support Vector Machine, SVM) 是一种监督学习技术,它通过根据指定的类对训练数据进行最佳分离,从而在高维空间中构建一个或一组超平面.在博文<OpenCV-Python实战(13)--OpenCV与机器学习的碰撞>中,我们已经学习了如何在 OpenCV 中实现和训练 SVM 算法,同时通过简单的示例了解了如何使用 SVM 算法.在本文中,我们将学习如何