Python爬虫之pandas基本安装与使用方法示例

本文实例讲述了Python爬虫之pandas基本安装与使用方法。分享给大家供大家参考，具体如下：

一、简介：

Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

官网：

http://pandas.pydata.org/pandas-docs/stable/10min.html

http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook

二、安装：

import pandas

三、使用：

1、需求，用python爬虫爬到了一些数据，但是不想把数据直接保存的数据库里面（前提是数据不是很大），所以想直观的看到数据。

import pandas
import openpyxl
#如果我把一些字典放到里面，最后想把这个列表用excel或者html或者csv文件展示出来，就可以直接这么用
data_end = []
wb = pandas.DataFrame(data_end[:-2])
wb.to_excel('hehe.xlsx')
wb.to_html('hehe.html')
wb.to_csv('hehe.csv')

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python操作Excel表格技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

赞 (0)

相关推荐

  • 详解Python中pandas的安装操作说明(傻瓜版)

    很多人来问我pandas的安装(python数据分析里面的必修课) 步骤如下: 安装python的时候,把路径加到系统里,这样,随时可以用pip 路径添加方法: 查找路径: 路径1: 2.例如: 即:C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32 路径2: 打开文件夹"Scripts" 例如:C:\Users\Administrator\AppData\Local\Programs\Python\Pyth

  • 详解pandas安装若干异常及解决方案总结

    在为Python安装第三方工具pandas出现了若干问题. 当我在cmd命令环境输入pip install pandas准备安装pandas时,出现了错误提示:Microsoft Visual C++ 9.0 is required.从网上查询资料有如下解决方案: 1.下载安装Visual Studio,并设置环境变量,不同的VS版本需要设置不同的环境变量值 Visual Studio 2010 (VS10)设置 VS90COMNTOOLS=%VS100COMNTOOLS% Visual Stu

  • python pandas库的安装和创建

    pandas 对于数据分析的人员来说都是必须熟悉的第三方库,pandas 在科学计算上有很大的优势,特别是对于数据分析人员来说,相当的重要.python中有了Numpy ,但是Numpy 还是比较数学化,还需要有一种库能够更加具体的代表数据模型,我们都非常的清楚在数据处理中EXCEL 扮演着非常重要的作用,表格的模式是数据模型最好的一种展现形式. pandas 是对表格数据模型在python上的模拟,它有简单的像SQL 对数据的处理,能够方便的在python上实现. pandas 的安装 pan

  • Python爬虫之pandas基本安装与使用方法示例

    本文实例讲述了Python爬虫之pandas基本安装与使用方法.分享给大家供大家参考,具体如下: 一.简介: Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具.pandas提供了大量能使我们快速便捷地处理数据的函数和方法.你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一. 官网: http:

  • Python爬虫实现“盗取”微信好友信息的方法分析

    本文实例讲述了Python爬虫实现"盗取"微信好友信息的方法.分享给大家供大家参考,具体如下: 刚起床,闲来无聊,找点事做,看了朋友圈一篇爬取微信好友信息的文章,突发奇想,偷偷看看女朋友微信有些啥....于是就下手了....[阴险] 1.准备工作: 运行平台:Windows Python版本:Python3.6 IDE:Sublime Text Python库:wxpy, 2.开发流程:(电脑没电了,要撑不住了啦~之后具体分析) 3.直接上代码: # 微信好友信息爬取+数据可视化 #

  • Python爬虫之Selenium设置元素等待的方法

    一.显式等待 WebDriverWait类是由WebDirver 提供的等待方法.在设置时间内,默认每隔一段时间检测一次当前页面元素是否存在,如果超过设置时间检测不到则抛出异常(TimeoutException) from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from seleniu

  • python爬虫利用代理池更换IP的方法步骤

    python爬虫利用代理池更换IP的方法步骤

    0. 前言 周日在爬一个国外网站的时候,发现用协程并发请求,并且请求次数太快的时候,会出现对方把我的服务器IP封掉的情况.于是网上找了一下开源的python代理池,这里选择的是star数比较多的proxy_pool 1. 安装环境 # 安装python虚拟环境, python环境最好为python3.6,再往上的话,安装依赖时会报错 sudo apt update sudo apt install python3.6 pip3 install virtualenv virtualenv venv

  • 更改Python的pip install 默认安装依赖路径方法详解

    前言 声明:python版本3.6,以下讨论的Python也都是适用于3.x版本 在实际使用安装python的pip安装 依赖库是非常的便捷的. 而且一般大家使用的都是安装Anaconda 来学习和实践python项目. 我们通常都是直接就是使用 pip install **** 其中****代表就是安装的依赖库名或者包名. 但是简单的背后就是,我们的最重要的系统盘C盘都是逐渐满了.更关键是你满完之后还不好去删除或者将一些依赖库放在别的盘的路径下,这就是一件非常糟糕的事情了. 所以今天,为了拯救

  • Python爬虫信息输入及页面的切换方法

    实现网页的键盘输入操作 from selenium.webdriver.common.keys import Keys 动态网页有时需要将鼠标悬停在某个元素上,相应的列表选项才能显示出来. 而爬虫在工作的时候也需要相应的操作,才能获得列表项. driver.find_element_by_class_name(...).send_keys(需要输入的字串) #find_element_by_class_name可以是find_element_by_link_text.find_element_b

  • Python中Numpy包的安装与使用方法简明教程

    本文实例讲述了Python中Numpy包的安装与使用方法.分享给大家供大家参考,具体如下: Numpy包的安装 准备工作 1. Python安装 2. pip安装(如使用pip安装命令:pip install numpy) 3. 将pip所在的文件夹添加到环境变量path路径中 4. 下载相应的Numpy安装包,.whl格式.下载链接. 以上准备工作准备完毕之后,进行Numpy安装,先进入whl安装包的存放目录.比如在C盘: cd C:\ 再使用命令行安装: pip install numpy文

  • Python爬虫之网页图片抓取的方法

    一.引入 这段时间一直在学习Python的东西,以前就听说Python爬虫多厉害,正好现在学到这里,跟着小甲鱼的Python视频写了一个爬虫程序,能实现简单的网页图片下载. 二.代码 __author__ = "JentZhang" import urllib.request import os import random import re def url_open(url): ''' 打开网页 :param url: :return: ''' req = urllib.reques

  • python爬虫设置每个代理ip的简单方法

    python爬虫设置每个代理ip的方法: 1.添加一段代码,设置代理,每隔一段时间换一个代理. urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy.假如一个网站它会检测某一段时间某个 IP 的访问次数,如果访问次数过多,它会禁止你的访问.所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽! 下面一段代码说明了代理的设置用法. import urllib2 enable_proxy = True proxy_h

  • python爬虫框架scrapy下载中间件的编写方法

    目录 下载中间件 process_request process_response process_exception 其它 下载中间件 在每一个scrapy工程中都有一个名为 middlewares.py 的文件,这个就是中间件文件其中下载中间件的类为 XxxDownloaderMiddleware其中有这么几个方法 def process_request(self, request, spider): return None def process_response(self, reques

随机推荐