pycharm创建scrapy项目教程及遇到的坑解析

前言

最近学习scrapy爬虫框架，在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间，遇到各种坑，根据网上的各种教程，花费了一晚上的时间，终于成功，其中也踩了一些坑，现在整理下相关教程，希望帮助那些遇到和我一样问题的码农。

1、环境

  • 操作系统：windows10。
  • python版本：python3.7，必须使用Anaconda，目前是Anaconda5.3.1。下载地址：https://www.anaconda.com/download/ 下载64位的安装包。scrapy依赖的类库比较多，使用Anaconda会将相关的依赖的类库都安装好，并且版本保持一致。
  • pycharm：pycharm2018。

2、安装Anaconda

安装好Anaconda之后，将下面的变量加入到系统环境变量中：

e:\Anaconda3;e:\Anaconda3\Library\mingw-w64\bin;e:\Anaconda3\Library\usr\bin;e:\Anaconda3\Library\bin;e:\Anaconda3\Scripts;

上面是我本机上的环境变量，我是将Anaconda3安装在E盘的Anaconda3文件夹中。

3、安装scrapy相关类库

打开pycharm，创建一个项目，然后开始安装相关的类库。通过下面的方式查找类库，点击左上角的File按钮，会弹出如下的界面：

点击Settings按钮，会弹出下面的菜单：

然后点击右边的“+”，就会弹出安装类库的界面：

在上图中查询类库，然后点击“Install package”即可安装。
如果查询出的类库显示蓝色，表示这个类库已经安装过了。

按照下面的顺序安装类库：lxml->zope.interface->pyopenssl->twisted->scrapy。一般情况下Anaconda已经安装了很多类库，我们只需安装scrapy即可。

4、创建scrapy项目

安装好scrapy类库之后，就可以创建scrapy项目了，pycharm不能直接创建scrapy项目，必须通过命令行创建，打开pycharm的Terminal终端，输入scrapy startproject test_scrapy命令，就可以创建名为test_scrapy的scrapy项目，看到如下的信息表示成功创建scrapy项目：

New Scrapy project 'test_scrapy', using template directory 'e:\\Anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:
  G:\PycharmProjects\scrapy\test_scrapy

You can start your first spider with:
  cd test_scrapy
  scrapy genspider example example.com

然后在pycharm的项目空间中就可以看到test_scrapy项目的目录结构：

通过命令行创建scrapy项目时经常会遇到下面的三个坑：

（1）'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件。这是因为没有把Anaconda加入到环境变量中。在安装scrapy时，会将scrapy.exe文件安装到Scripts文件夹下面：

如果没有设置环境变量，将无法找到scrapy.exe文件。

(2)ImportError: DLL load failed: 找不到指定的模块。 这个问题是因为lxml类库版本引起的，在window7操作系统会遇到这个问题。我安装的是4.2.5版本，后来改成3.8.0就解决了。将lxml从4.2.5切换成3.8.0的方法如下：

通过上图的安装类库界面，找到lxml，勾选上Specify version选项，然后选择3.8.0，点击“install package”按钮即可。使用anaconda的好处就是，将lxml切换成3.8.0之后，会把相关的openssl和twisted等类库也切换成匹配的类库，因此强烈推荐使用Anaconda安装python。

(3)ImportError: DLL load failed: 操作系统无法运行 %1 。 这个是因为c:/windows/system32目录中的ssleay32.dll和libeay32.dll冲突导致的，我的做法是删除掉这个两个文件，创建好scrapy项目后，在恢复回来。因为删除这两个文件会导致某些应用无法运行。在window10操作系统会遇到这个问题。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 在Pycharm中执行scrapy命令的方法

    当你检查scrapy二进制文件时,你会注意到这么一段python script #!/usr/bin/python from scrapy.cmdline import execute execute() 这意味着 一个scrapy命令,比如 scrapy crawl IcecatCrawler 也可以这么表达: python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler 所以,只能我们找到pych

  • python使用scrapy发送post请求的坑

    使用requests发送post请求 先来看看使用requests来发送post请求是多少好用,发送请求 Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的.例如,你可以这样发送一个 HTTP POST 请求: >>>r = requests.post('http://httpbin.org/post', data = {'key':'value'}) 使用data可以传递字典作为参数,同时也可以传递元祖 >>>payload = (('ke

  • Pycharm简单使用教程(入门小结)

    1.下载pycharm pycharm是一种Python IDE,能够帮助我们在编写代码时提高效率. 网上提供的有专业版和教育版之分. 专业版是收费的,功能更全面点. 教育版或社区版是阉割版本,但它是免费的. 2.pycharm的安装 比较简单,官网下载 备注: 刚下载好的pycharm无法运行程序" Cannot start process, the working directory-", 两种解决方法 1.选择Run-Edit configurations.然后点击Environ

  • pycharm下打开、执行并调试scrapy爬虫程序的方法

    pycharm下打开、执行并调试scrapy爬虫程序的方法

    首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1 目录结构如下: 打开Pycharm,选择open 选择项目,ok 打开如下界面之后,按alt + 1, 打开project 面板 在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz".这个名字后面会用到. 在test1目录和scrapy.cfg同级目

  • pycharm 批量修改变量名称的方法

    pycharm 批量修改变量名称的方法

    当代码已经写得差不多,发现某个变量名需要修改,但代码中很多地方都有该变量,一一修改太麻烦了,在不同的情景下,可以采取更加简便的方法,如下介绍: 方法一:rename方法 S1 把光标移动到要修改的变量名称上 S2 右键-refactor - rename- 确定 S3 在弹出来的框中,选择 rename code occurences,即修改所有重复出现的变量名 S4 变量周围出现红色框,修改变量,确定 S5 其他位置的该变量会被同时修改 方法二:查找替换方法 前提:变量名只用于变量,没有其他用

  • Pycharm+Scrapy安装并且初始化项目的方法

    前言 Scrapy是一个开源的网络爬虫框架,Python编写的.最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫.是数据采集不可必备的利器. 安装 pip install scrapy 如果使用上面的命令太慢.国内可以使用豆瓣源进行加速. pip install -i https://pypi.douban.com/simple scrapy 注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一

  • pycharm创建scrapy项目教程及遇到的坑解析

    pycharm创建scrapy项目教程及遇到的坑解析

    前言 最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理下相关教程,希望帮助那些遇到和我一样问题的码农. 1.环境 操作系统:windows10. python版本:python3.7,必须使用Anaconda,目前是Anaconda5.3.1.下载地址:https://www.anaconda.com/download/ 下载64位的安装包.sc

  • 在pycharm创建scrapy项目的实现步骤

    在pycharm创建scrapy项目的实现步骤

    步骤很简单,直接进入主题. 第一步: 创建一个python项目.解析器什么的自己选择,环境目录默认就好. 第二步: 下载scrapy,步骤file->settings->project Interpreter 然后下载scrapy,下载前建议更改或添加下载源,否则容易超时出错. 第三步: 左下角找Terminal,点击Terminal进行终端交互,然后输入项目创建命令.scrapy startproject Testscr (Testscr是你对应的项目命),创建成功后刷新一下项目或者直接cd

  • 详解pycharm的newproject左侧没有出现项目选项的情况下创建Django项目的解决方法/社区版pycharm创建django项目的方法

    首先,我当时出现的问题是newproject创建的时候没有django的选项,查了半天发现我安装的pycharm是社区版本.所以需要用终端命令行的方式创建django项目. 首先,随便打开一个项目,然后在pycharm界面的左下角有Terminal终端的图标,点开. cd返回根目录 在终端输入你PycharmProjects的目录,由于我是mac 端,我输入的是:cd /Users/apple/PycharmProjects 进入目录后,输入:django-admin startproject

  • Pycharm创建Django项目示例实践

    Pycharm创建Django项目示例实践

    目录 一.Pycharm安装Django框架 二.新建Django项目 三.在Django项目创建WebApp项目 四.运行项目:在pycharm的Terminal中输入命令运行服务器: 五.在项目中添加资源(css.image.js) 一.Pycharm安装Django框架 二.新建Django项目 1.manage.py是个管理角色,拥有的功能包括: (1)创建app: python manage.py startapp miaTest 其中startapp是命令,miaTest为app的名

  • 社区版pycharm创建django项目的方法(pycharm的newproject左侧没有项目选项)

    社区版pycharm创建django项目的方法(pycharm的newproject左侧没有项目选项)

    首先,我当时出现的问题是newproject创建的时候没有django的选项,查了半天发现我安装的pycharm是社区版本.所以需要用终端命令行的方式创建django项目. 首先,随便打开一个项目,然后在pycharm界面的左下角有Terminal终端的图标,点开. cd返回根目录 在终端输入你PycharmProjects的目录,由于我是mac 端,我输入的是:cd /Users/apple/PycharmProjects 进入目录后,输入:django-admin startproject

  • PyCharm创建Django项目的简单步骤记录

    PyCharm创建Django项目的简单步骤记录

    目录 1.创建虚拟环境 2.激活虚拟环境 3.安装Django 4.在Django下创建项目 5.创建数据库 6.查看项目 7.创建应用程序 7. 1.激活模型 8.定义URL 总结 1.创建虚拟环境 首先创建一个新文件夹 在PyCharm终端中切换到这个文件夹,输入 python -m venv 环境名 创建虚拟环境 此时文件夹下出现了名为DjangoPractice的文件夹 2.激活虚拟环境 在终端中输入 环境名\Scripts\activate 激活环境,要停止虚拟环境可以输入deacti

  • 创建Maven项目和Spring IOC实例过程解析

    这篇文章主要介绍了创建Maven项目和Spring IOC实例过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 把如何创建Maven项目和创建Spring IOC的例子分享给大家,希望能对大家有帮助! 一.创建Maven项目 我用的是Intellij IDEA开发工具创建Maven项目的,打开该软件后,直接点击file --->project,如下图所示, 然后就直接跟着我的图片的步骤往下走. 到了这一个就创建好了Maven项目了,然后开

  • Windows下pycharm创建Django 项目(虚拟环境)过程解析

    Windows下pycharm创建Django 项目(虚拟环境)过程解析

    1. 背景 我在 Windows 下的 pycharm 直接创建 全新 Django 项目 会 pip 和其他报错 ,暂时解决不了,另外后续的多个项目只需要一套python 环境, 所以可以 利用 virtualenv 创建一个 虚拟环境,pycharm 创建的 Django 项目 在选择解释器的时候 选择虚拟环境的解释器. 2. virtualenv 安装 https://www.jb51.net/article/170070.htm 在 虚拟环境里面 安装 Django 版本 1.11.24

  • 使用PyCharm创建Django项目及基本配置详解

    pycharm是个很不错的python开发工具,大大缩短了python项目的创建时间以及调试时间 在使用python写脚本一段时间后,想尝试使用Django来编写一个python项目,现做以下记录备忘: 1.创建项目 如果本地没有安装与所选python版本对应Django版本,pycharm会自动下载相应的版本: 创建后运行项目,默认页面为http://127.0.0.1:8000/,打开后: 出现上面的页面,则正面项目创建成功 目录结构: 2.创建APP 在Django项目中可以包含多个APP

  • PyCharm 创建指定版本的 Django（超详图解教程）

    最近在学习胡阳老师(the5fire)的<Django企业级开发实战>,想要使用pycharm创建django项目时,在使用virtualenv创建虚拟环境后,在pycharm内,无论如何都无法导入正确的环境.通常是提示 django is not importable in this environment.研究许久,现把 PyCharm 创建指定版本的 Django 的方法记录如下. 我的环境:1. pycharm2018.3.5 64位 professional 2. python 3.

随机推荐