python类别数据数字化LabelEncoder VS OneHotEncoder区别

目录
  • LabelEncoder 和 OneHotEncoder 是什么
  • 数据集中的类别数据
  • LabelEncoder 和 OneHotEncoder 的区别
  • 具体代码

LabelEncoder 和 OneHotEncoder 是什么

- 在数据处理过程中，我们有时需要对不连续的数字或者文本进行数字化处理。
- 在使用 Python 进行数据处理时，用 encoder 来转化 dummy variable（虚拟数据）非常简便，encoder 可以将数据集中的文本转化成0或1的数值。
- LabelEncoder 和 OneHotEncoder 是 scikit-learn 包中的两个功能，可以实现上述的转化过程。
- sklearn.preprocessing.LabelEncoder
- sklearn.preprocessing.OneHotEncoder

数据集中的类别数据

在使用回归模型和机器学习模型时，所有的考察数据都是数值更容易得到好的结果。
因为回归和机器学习都是基于数学函数方法的，所以当我们要分析的数据集中出现了类别数据(categorical data)，此时的数据是不理想的，因为我们不能用数学的方法处理它们。

例如，在处理男和女两个性别数据时，我们用0和1将其代替，再进行分析。

由于这种情况的出现，我们需要可以将文字数字化的现成方法。

LabelEncoder 和 OneHotEncoder 的区别

具体代码

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
from sklearn.cross_validation import train_test_split
# 读取数据
data_df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'
                 'breast-cancer-wisconsin/wdbc.data', header=None)
# 前面的数据是特征，最后一列是标签label
x, y = data_df.values[:, :-1], data_df.values[:, -1]
# 先实例化一个对象
encoder_x = LabelEncoder()
# 对标签进行类别数据数字化
y = encoder_x.fit_transform( y )

以上就是python 数据数字化的方法LabelEncoder VS OneHotEncoder区别的详细内容，更多关于LabelEncoder VS OneHotEncoder的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Python 统计数据集标签的类别及数目操作

    Python 统计数据集标签的类别及数目操作

    看了大神统计voc数据集标签框后,针对自己标注数据集,灵活应用 ,感谢! 看代码吧~ import re import os import xml.etree.ElementTree as ET class1 = 'answer' class2 = 'hand' class3 = 'write' class4 = 'music' class5 = 'phone' '''class6 = 'bus' class7 = 'car' class8 = 'cat' class9 = 'chair' cl

  • python实现读取类别频数数据画水平条形图案例

    1.数据分组-->频数分布表 环境配置: import pandas as pd import numpy as np import matplotlib.pyplot as plt 按照你设定合适的间隔,把数据分为各个范围的组,然后统计出在这个范围内的频数有多少,我没有找到合适的函数,我就自己写了一个函数,类似直方图的工作,这是画水平条形图的数据准备.至于为什么要画水平条形图,当类别太多,使用水平条形图比较简洁,个人看法.下面给出代码,就不解释代码含义了. def data_count(dat

  • python使用pandas抽样训练数据中某个类别实例

    废话真的一句也不想多说,直接看代码吧! # -*- coding: utf-8 -*- import numpy from sklearn import metrics from sklearn.svm import LinearSVC from sklearn.naive_bayes import MultinomialNB from sklearn import linear_model from sklearn.datasets import load_iris from sklearn.

  • python数据预处理之将类别数据转换为数值的方法

    在进行python数据分析的时候,首先要进行数据预处理. 有时候不得不处理一些非数值类别的数据,嗯, 今天要说的就是面对这些数据该如何处理. 目前了解到的大概有三种方法: 1,通过LabelEncoder来进行快速的转换: 2,通过mapping方式,将类别映射为数值.不过这种方法适用范围有限: 3,通过get_dummies方法来转换. import pandas as pd from io import StringIO csv_data = '''A,B,C,D 1,2,3,4 5,6,,

  • python类别数据数字化LabelEncoder VS OneHotEncoder区别

    python类别数据数字化LabelEncoder VS OneHotEncoder区别

    目录 LabelEncoder 和 OneHotEncoder 是什么 数据集中的类别数据 LabelEncoder 和 OneHotEncoder 的区别 具体代码 LabelEncoder 和 OneHotEncoder 是什么 - 在数据处理过程中,我们有时需要对不连续的数字或者文本进行数字化处理.- 在使用 Python 进行数据处理时,用 encoder 来转化 dummy variable(虚拟数据)非常简便,encoder 可以将数据集中的文本转化成0或1的数值.- LabelEn

  • 对python 数据处理中的LabelEncoder 和 OneHotEncoder详解

    如下所示: #简单来说 LabelEncoder 是对不连续的数字或者文本进行编号 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() le.fit([1,5,67,100]) le.transform([1,1,100,67,5]) 输出: array([0,0,3,2,1]) #OneHotEncoder 用于将表示分类的数据扩维: from sklearn.preprocessing import OneHo

  • Python大数据之网络爬虫的post请求、get请求区别实例分析

    本文实例讲述了Python大数据之网络爬虫的post请求.get请求区别.分享给大家供大家参考,具体如下: 在JetBrains PyCharm 2016.3软件中编写代码前,需要指定python和编码方式: #!user/bin/python 编码方式 :#coding=utf-8 或者 #-*-coding:utf-8-*- post请求: #导入工具,内置的库 import urllib import urllib2 #加一个\可以换行 #response = \ #urllib2.url

  • python+mongodb数据抓取详细介绍

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: headers = { ..... } r = requests.get(url,headers,timeout=30) html = r.content soup = BeautifulSoup(html,"lxml") url = soup.find_all(正则表达式) for i

  • Python实现数据可视化看如何监控你的爬虫状态【推荐】

    今天主要是来说一下怎么可视化来监控你的爬虫的状态. 相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样.今天我来讲一种可视化的方法. 关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据. 1.成品图 这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M.爬虫的原理都是一样的,只不过将数据存到InfluxDB的方式不一样而已, 如下图. 可以

  • 基于python cut和qcut的用法及区别详解

    我就废话不多说了,直接上代码吧: from pandas import Series,DataFrame import pandas as pd import numpy as np from numpy import nan as NA from matplotlib import pyplot as plt ages = [20,22,25,27,21,23,37,31,61,45,41,32] #将所有的ages进行分组 bins = [18,25,35,60,100] #使用pandas

  • 浅谈python 中的 type(), dtype(), astype()的区别

    如下所示: 函数 说明 type() 返回数据结构类型(list.dict.numpy.ndarray 等) dtype() 返回数据元素的数据类型(int.float等) 备注:1)由于 list.dict 等可以包含不同的数据类型,因此不可调用dtype()函数 2)np.array 中要求所有元素属于同一数据类型,因此可调用dtype()函数 astype() 改变np.array中所有数据元素的数据类型. 备注:能用dtype() 才能用 astype() 测试代码: import nu

  • python中get和post有什么区别

    在客户端,Get方式在通过URL提交数据,数据在URL中可以看到:POST方式,数据放置在HTML HEADER内提交. GET方式提交的数据最多只能有1024 Byte,而POST则没有此限制. 安全性问题.正如在上面中提到,使用 Get 的时候,参数会显示在地址栏上,而 Post 不会.所以,如果这些数据是中文数据而且是非敏感数据,那么使用get:如果用户输入的数据不是中文字符而且包含敏感数据,那么还是使用 post为好. 表单提交中get和post方式的区别归纳如下几点: get是从服务器

  • 浅谈Python里面None True False之间的区别

    None虽然跟True False一样都是布尔值. 虽然None不表示任何数据,但却具有很重要的作用. 它和False之间的区别还是很大的! 例子: >>> t = None >>> if t: ... print("something") ... else: ... print("nothing") ... nothing 区分None和False.使用is来操作! >>> if t is None: ...

随机推荐