win10系统中安装scrapy-1.1

0.环境说明

win10 64bit，电脑也是64bit的处理器，电脑装有vs2010 64bit，但是为了保险起见，只试验了32位的安装，等有时间了，再试下64位的安装。如无特殊说明，一切操作都是在windows命令行下执行的。电脑也需要联网，因为pip在安装包的时候，需要在线下载相关包。

1.安装python

我用的是win32-python-2.7.12，请切记用版本高于.10以上版本，因为我记得到装pip的时候，好像必须要.8以上版本。

然后是将相关环境变量配置到path路径中，不懂请谷歌，结果如下图黄色说明。

2.安装pip

点击https://pypi.python.org/pypi/pip 下载pip-6.1.1.tar.gz (md5, pgp)

解压后进行文件夹，执行：python setup.py install

3.安装lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。选择对应的Python版本安装。；

安装命令：pip install lxml

验证是否安装成功见下图：

4.安装zope.interface

pip install zope.interface

5.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架，安装命令：

pip install twisted

我转的时候，遇到了问题：

error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27

解决办法如下：

Execute the following command based on the version of Visual Studio installed:

Visual Studio 2010 (VS10):SET VS90COMNTOOLS=%VS100COMNTOOLS%

Visual Studio 2012 (VS11):SET VS90COMNTOOLS=%VS110COMNTOOLS%

Visual Studio 2013 (VS12):SET VS90COMNTOOLS=%VS120COMNTOOLS%

Visual Studio 2015 (VS14):SET VS90COMNTOOLS=%VS140COMNTOOLS%

然后再重新执行：

pip install twisted

即可。

6.安装pyOpenSSL

pip install pyopenssl

7.安装win32py

提供win32api，点击 http://sourceforge.net/projects/pywin32/files/pywin32/下载

pywin32-220.win32-py2.1.exe，点击安装即可。

8.安装scrapy

pip install scrapy

9.测试scrapy是否可用：

安装完成，开始使用吧！

哈哈……

赞 (0)

相关推荐

  • 在Linux系统上安装Python的Scrapy框架的教程

    在Linux系统上安装Python的Scrapy框架的教程

    这是一款提取网站数据的开源工具.Scrapy框架用Python开发而成,它使抓取工作又快又简单,且可扩展.我们已经在virtual box中创建一台虚拟机(VM)并且在上面安装了Ubuntu 14.04 LTS. 安装 Scrapy Scrapy依赖于Python.开发库和pip.Python最新的版本已经在Ubuntu上预装了.因此我们在安装Scrapy之前只需安装pip和python开发库就可以了. pip是作为python包索引器easy_install的替代品,用于安装和管理Python

  • python安装Scrapy图文教程

    python安装Scrapy图文教程

    安装方法 pip install Scrapy 如果顺利的话不用管直接一路下来就OK 验证是否安装成功 安装成功 不顺利的情况 1)lxml安装不成功 使用whl进行安装,不过需要先安装whl pip install wheel 安装完成后下载lxml的whl文件 网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/ whl版本挑选 进入cmd-->import pip-->print pip.pep425tags.get_supported(),按照截

  • Python爬虫框架Scrapy安装使用步骤

    一.爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步网络库来处理网络通讯,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片. 二.Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>

  • win10系统中安装scrapy-1.1

    win10系统中安装scrapy-1.1

    0.环境说明 win10 64bit,电脑也是64bit的处理器,电脑装有vs2010 64bit,但是为了保险起见,只试验了32位的安装,等有时间了,再试下64位的安装.如无特殊说明,一切操作都是在windows命令行下执行的.电脑也需要联网,因为pip在安装包的时候,需要在线下载相关包. 1.安装python 我用的是win32-python-2.7.12,请切记用版本高于.10以上版本,因为我记得到装pip的时候,好像必须要.8以上版本. 然后是将相关环境变量配置到path路径中,不懂请谷

  • win7 x64系统中安装Scrapy的方法

    scrapy是用python开发的爬虫框架,从网上查了安装方法,感觉都说的挺复杂,而且很多教程都很有年头了,于是记录了自己的安装过程. 首先安装python,地址:https://www.python.org/downloads/release/python-2710/,注意根据你的系统下64位(Windows x86-64 MSI installer)还是32位的(Windows x86 MSI installer). 现在是python3.6的天下了,建议大家安装python3版本. 装完以

  • win10 64位系统中安装多个jdk版本的切换问题及解决方法小结

    由于电脑安装了myeclipse2017,同时又安装了idea2017,idea是最新版,必须使用jdk1.8以上,而myeclipse中的项目又需要低版本的jdk,所以在电脑上之前安装配置好了jdk1.8,后来又要安装jdk1.7,可以来回切换,但是过程中遇到了很多问题,总结一下. 安装jdk后,我们配置环境变量,先特别注意一个问题: 更改环境变量的问题,我搜了很多方案,一个个的试,最终解决,主要方案有以下几个: 1.为了从jdk1.8切换到1.7,首先做的是将环境变量中的JAVA_HOME值

  • python中安装Scrapy模块依赖包汇总

    本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下: CentOS 安装python3.5.3 wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install 完成安装python3.5.3,在不删除系统自带的pyt

  • 在win10系统下安装Mysql 5.7.17图文教程

    在win10系统下安装Mysql 5.7.17图文教程

    操作系统win10  MySQL为官网下载的64位zip解压缩Community版本. 因为想要在公司电脑上安装Mysql,于是到官网上下载了最新版本的Mysql-5.7.17,首先通过网上教程进行安装,解压,然后在C盘新建了一个Mysql0104目录(作为Mysql的安装目录),将解压过后Mysql-5.7.17文件夹中的内容拷贝至安装目录Mysql中. 文件内容如下: 之后按照网上攻略:以管理员身份运行命令行窗口,mysqld -install 安装mysql:这一步理论不会有什么问题 正常

  • Win10系统下安装labelme及json文件批量转化方法

    一.安装环境:windows10,anaconda3,python3.6 由于框架maskrcnn需要json数据集,在没安装labelme环境和跑深度学习之前,我安装的是anaconda3,其中pyhton是3.7版本的,经网上查阅资料,经过一番查找资料,发现,原来在2019年,TensorFlow还不支持python3.7,所以,迫于无奈,我只能乖乖把python的版本退回到3.6版本,具体步骤也很简单.就是打开anaconda prompt ,然后输入conda install pytho

  • win10系统下安装superset的步骤

    superset是一个轻量级自助式BI框架,以优雅的界面和根据数据表动态生成数据为主要特点. 一. 环境 windows 10 64位 Python 3.7 二. 安装步骤 安装Python 建议安装Python 3.7 版本,Python官网:https://www.python.org/downloads/release/python-373/ 下载64位Python下载 python-3.7.3-amd64.exe,直接使用exe的安装包即可,安装过程中选中增加到环境变量. 安装VS201

  • Linux CentOS6.6系统中安装mysql源码包的方法

    这里以CentOS6.6系统中安装MySQL的源码包,进行讲解. 1. mysql源码包的下载 mysql安装包的官方下载地址为:http://dev.mysql.com/downloads/mysql/5.6.html#downloads 打开该下载地址后,在 "Select Version:"处,选择要下载的mysql的版本,我选择的是5.6.34:在"Select Platform:"处,选择适用的操作系统类型,由于是下载源码包,故这里我们要选择Source

  • Linux系统中安装gcc和kernel-devel的方法

    gcc:liunx环境中的c/c++编译器,安装软件需要它 kernel-devel:linux内核,安装软件时需要编译内核,故需要保持内核版本一致性 1.Linux操作系统安装好以后,查看gcc是否已经安装: # gcc -v //如果后面出现一大段,则已经安装: 2.查看内核是否一致: #uname -r #rpm -q kernel-devel 如果两个命令得到的版本号一致,那么恭喜你可以直接安装Vmware Tools了:不过一般情况下,两个版本是不一致的,或者是提示kernel-dev

  • Ubuntu 20.04系统中安装vncserver的方法步骤

    Ubuntu 20.04已经在2020年4月份正式发布,笔者今天正式安装了一个镜像系统,并在该系统中安装vncserver以便于远程图形化管理和使用.安装vncserver的步骤如下: 第一步:安装桌面环境和VNCServer #更新 apt update #安装桌面环境 sudo apt install xfce4 xfce4-goodies #安装vncserver apt install tightvncserver #启动vncserver vncserver 随后按照提示,输入vncs

随机推荐