Pycharm+Scrapy安装并且初始化项目的方法

前言

Scrapy是一个开源的网络爬虫框架，Python编写的。最初设计用于网页抓取，也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pip install scrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要写错了，是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速，这也是pip的一个技巧，还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目，我们必须手动初始化项目。

1、找一个目录

输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夹中看看

初始化项目

使用pycharm打开该项目

如果出现这个页面就说明对了。

下面生成一个模板

打开pycharm的terminal

输入

scrapy genspider BiduSpider http://www.baidu.com

我们的spider 包下面会多一个文件

这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。

以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python使用scrapy发送post请求的坑

    使用requests发送post请求 先来看看使用requests来发送post请求是多少好用,发送请求 Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的.例如,你可以这样发送一个 HTTP POST 请求: >>>r = requests.post('http://httpbin.org/post', data = {'key':'value'}) 使用data可以传递字典作为参数,同时也可以传递元祖 >>>payload = (('ke

  • pycharm创建scrapy项目教程及遇到的坑解析

    pycharm创建scrapy项目教程及遇到的坑解析

    前言 最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理下相关教程,希望帮助那些遇到和我一样问题的码农. 1.环境 操作系统:windows10. python版本:python3.7,必须使用Anaconda,目前是Anaconda5.3.1.下载地址:https://www.anaconda.com/download/ 下载64位的安装包.sc

  • pycharm 批量修改变量名称的方法

    pycharm 批量修改变量名称的方法

    当代码已经写得差不多,发现某个变量名需要修改,但代码中很多地方都有该变量,一一修改太麻烦了,在不同的情景下,可以采取更加简便的方法,如下介绍: 方法一:rename方法 S1 把光标移动到要修改的变量名称上 S2 右键-refactor - rename- 确定 S3 在弹出来的框中,选择 rename code occurences,即修改所有重复出现的变量名 S4 变量周围出现红色框,修改变量,确定 S5 其他位置的该变量会被同时修改 方法二:查找替换方法 前提:变量名只用于变量,没有其他用

  • 在Pycharm中执行scrapy命令的方法

    当你检查scrapy二进制文件时,你会注意到这么一段python script #!/usr/bin/python from scrapy.cmdline import execute execute() 这意味着 一个scrapy命令,比如 scrapy crawl IcecatCrawler 也可以这么表达: python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler 所以,只能我们找到pych

  • Pycharm简单使用教程(入门小结)

    1.下载pycharm pycharm是一种Python IDE,能够帮助我们在编写代码时提高效率. 网上提供的有专业版和教育版之分. 专业版是收费的,功能更全面点. 教育版或社区版是阉割版本,但它是免费的. 2.pycharm的安装 比较简单,官网下载 备注: 刚下载好的pycharm无法运行程序" Cannot start process, the working directory-", 两种解决方法 1.选择Run-Edit configurations.然后点击Environ

  • pycharm下打开、执行并调试scrapy爬虫程序的方法

    pycharm下打开、执行并调试scrapy爬虫程序的方法

    首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1 目录结构如下: 打开Pycharm,选择open 选择项目,ok 打开如下界面之后,按alt + 1, 打开project 面板 在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz".这个名字后面会用到. 在test1目录和scrapy.cfg同级目

  • Pycharm+Scrapy安装并且初始化项目的方法

    前言 Scrapy是一个开源的网络爬虫框架,Python编写的.最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫.是数据采集不可必备的利器. 安装 pip install scrapy 如果使用上面的命令太慢.国内可以使用豆瓣源进行加速. pip install -i https://pypi.douban.com/simple scrapy 注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一

  • webstorm+vue初始化项目的方法

    vue新项目准备: 1.安装nodejs,官网下载傻瓜安装 node -v 验证 2.npm包管理器,是集成在node中的,所以安装了node也就有了npm npm -v 验证 3.安装cnpm npm install -g cnpm --registry=http://registry.npm.taobao.org (完成之后,我们就可以用cnpm代替npm来安装依赖包了.如果想进一步了解cnpm的,查看淘宝npm镜像官网.) 4.安装vue-cli脚手架构建工具 npm install -g

  • PyCharm在新窗口打开项目的方法

    File->Setting 找到Appearance & Behavior -->System Setting,在右边窗口中选择 Open project in new window,点击OK 以上这篇PyCharm在新窗口打开项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)

    很多次遇到在pycharm中无法安装第三方库的情况,今天我就遇到了,找了很多办法都没用 但是在pycharm中配置anaconda环境之后再从anaconda下载安装你所需要的库就可以diy完决你的问题了 第一步安装anaconda,这个我就不说了,网上很多方法,自己找 第二步配置anaconda环境到pycharm,这我来给你们说说 打开pychram,file->settings 然后选择project Interpreter 把project Interpreter复选框里面的地址换成你安

  • pycharm新建Vue项目的方法步骤(图文)

    1.首先安装Node.js 官网:https://nodejs.org/zh-cn/ 1)根据自己电脑型号下载好 2)点击安装,傻瓜式一步一步最后完成安装 3)打开CMD,检查是否正常,如果显示了如下则安装正常 2.使用淘宝NPM镜像 大家都知道国内直接使用npm 的官方镜像是非常慢的,这里推荐使用淘宝 NPM 镜像. npm install -g cnpm --registry=https://registry.npm.taobao.org 这样就可以使用cnpm命令来安装模块了 3.项目初始

  • python3.4+pycharm 环境安装及使用方法

    遇到很多初学者的盆友,来问python环境安装的问题..因此,这篇文章就诞生了.. 因个人是windows的环境,所以本文只讲windows环境下的python安装. 作为初用python的盆友,强烈建议只在电脑上装一个python版本就好了,不然就进了各种坑里了. 第一步:下载和安装python-3.4.4amd.msi 可以去官方网站下载,也可以从网盘下载: 链接:https://www.jb51.net/softs/415931.html 双击此文件,一路安装下去,这里就不再列出来了. 第

  • 详解pycharm的newproject左侧没有出现项目选项的情况下创建Django项目的解决方法/社区版pycharm创建django项目的方法

    首先,我当时出现的问题是newproject创建的时候没有django的选项,查了半天发现我安装的pycharm是社区版本.所以需要用终端命令行的方式创建django项目. 首先,随便打开一个项目,然后在pycharm界面的左下角有Terminal终端的图标,点开. cd返回根目录 在终端输入你PycharmProjects的目录,由于我是mac 端,我输入的是:cd /Users/apple/PycharmProjects 进入目录后,输入:django-admin startproject

  • 在Pycharm中安装Pandas库方法(简单易懂)

    在Pycharm中安装Pandas库方法(简单易懂)

    开发环境的搭建是一件入门比较头疼的事情,在上期的文稿基础上,增加一项Anaconda的安装介绍.Anaconda是Python的一个发行版本,安装好了Anaconda就相当于安装好了Python,并且里面还集成了很多Python科学计算的第三方库.比如我们需要用到的Pandas.numpy.dateutil等等,高达几百种.因此,安装了Anaconda,就不需要再专门的一个个安装第三方库.只要在使用Pycharm时调用Anaconda环境,便可以方便的使用其中的各种库.且各个库之间的依赖性很好,

  • 社区版pycharm创建django项目的方法(pycharm的newproject左侧没有项目选项)

    社区版pycharm创建django项目的方法(pycharm的newproject左侧没有项目选项)

    首先,我当时出现的问题是newproject创建的时候没有django的选项,查了半天发现我安装的pycharm是社区版本.所以需要用终端命令行的方式创建django项目. 首先,随便打开一个项目,然后在pycharm界面的左下角有Terminal终端的图标,点开. cd返回根目录 在终端输入你PycharmProjects的目录,由于我是mac 端,我输入的是:cd /Users/apple/PycharmProjects 进入目录后,输入:django-admin startproject

  • Python pycharm 同时加载多个项目的方法

    在pycharm中只能一个项目存在,想打开另一个项目只能建一个新窗口或者把当前窗口覆盖掉. 在pycharm中其实可以同时打开多个项目: 1.file->setting->project 2.选择project structure,在窗口右侧的add content root 中添加要显示的项目 以上这篇Python pycharm 同时加载多个项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

随机推荐