Scrapy启动报错invalid syntax的解决

目录
  • Scrapy启动报错invalid syntax
    • 报错信息
    • 解决方法
  • 使用scrapy做爬虫遇到的一些坑
    • 1.引号的歧义:最外面应该使用单引号
    • 2.使用了关键字做变量
    • 3.进入shell窗口时,url添加了“”
    • 4.使用xpath匹配相关信息,返回为空列表

Scrapy启动报错invalid syntax

报错信息

Traceback (most recent call last): File “d:\python\lib\runpy.py”,
line 193, in _run_module_as_main
“main”, mod_spec) File “d:\python\lib\runpy.py”, line 85, in run_code
exec(code, run_globals) File "D:\python\Scripts\scrapy.exe_main.py", line 9, in File
“d:\python\lib\site-packages\scrapy\cmdline.py”, line 150, in execute
_run_print_help(parser, _run_command, cmd, args, opts) File “d:\python\lib\site-packages\scrapy\cmdline.py”, line 90, in
_run_print_help
func(*a, **kw) File “d:\python\lib\site-packages\scrapy\cmdline.py”, line 157, in
_run_command
cmd.run(args, opts) File “d:\python\lib\site-packages\scrapy\commands\crawl.py”, line 57, in
run
self.crawler_process.crawl(spname, **opts.spargs) File “d:\python\lib\site-packages\scrapy\crawler.py”, line 170, in crawl
crawler = self.create_crawler(crawler_or_spidercls) File “d:\python\lib\site-packages\scrapy\crawler.py”, line 198, in
create_crawler
return self._create_crawler(crawler_or_spidercls) File “d:\python\lib\site-packages\scrapy\crawler.py”, line 203, in
create_crawler
return Crawler(spidercls, self.settings) File “d:\python\lib\site-packages\scrapy\crawler.py”, line 55, in init
self.extensions = ExtensionManager.from_crawler(self) File “d:\python\lib\site-packages\scrapy\middleware.py”, line 58, in
from_crawler
return cls.from_settings(crawler.settings, crawler) File “d:\python\lib\site-packages\scrapy\middleware.py”, line 34, in
from_settings
mwcls = load_object(clspath) File “d:\python\lib\site-packages\scrapy\utils\misc.py”, line 44, in
load_object
mod = import_module(module) File "d:\python\lib\importlib_init.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level) File “

启动命令如下:

scrapy crawl first_spider -o first_spider.csv

解决方法

经过查询发现async在python3.7中是保留字,因此将twisted\conch\manhole.py中的async修改为isasync即可解决问题

使用scrapy做爬虫遇到的一些坑

使用xpath和CSS遇到的一些 invalid syntax

1.引号的歧义:最外面应该使用单引号

错误:

正确:把定位的xpath外加单引号

2.使用了关键字做变量

错误:

正确:注意关键字不能做变量

3.进入shell窗口时,url添加了“”

错误:

正确:去掉url的引号

4.使用xpath匹配相关信息,返回为空列表

错误:因为一开始网址就是错误的,所以不管匹配的xpath是不是对的,都会返回【】

正确:

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • 解决pip install xxx报错SyntaxError: invalid syntax的问题

    python--pip install xxx报错SyntaxError: invalid syntax 在安装好python后,进入python运行环境后,因为我要用pip安装开发Web App需要的第三方库,执行pip install aiohttp,发现会报错SyntaxError: invalid syntax,刚开始以为是拼写或者空格问题或者python版本问题,结果用pip3还是一样的. 然后百度了一下,发现原来用pip安装时都要在cmd命令行里启动的,而在python中无法运行.退

  • python学习笔记之调用eval函数出现invalid syntax错误问题

    pytho的使用和分发完全是免费的,它是一种面向对象的语言,它的.它的类模块支持多态,操作符重载和多重继承等高级概念,并且以python特有的简洁的语法和类型,OOP十分易于使用.python内置了众多预编译并可移植的功能模块,这些功能模块叫做标准库(standard library).python可以调用C和C++的库,可以被C和C++的程序调用,可以与java组件集成,可以和COM和.Net等框架进行通信,并且可以通过SOAP.XML-RPC和CORBA等接口与网络进行交互,所以,pytho

  • python scrapy爬虫代码及填坑

    涉及到详情页爬取 目录结构: kaoshi_bqg.py import scrapy from scrapy.spiders import Rule from scrapy.linkextractors import LinkExtractor from ..items import BookBQGItem class KaoshiBqgSpider(scrapy.Spider): name = 'kaoshi_bqg' allowed_domains = ['biquge5200.cc'] s

  • Python运行的17个时新手常见错误小结

    1)忘记在 if , elif , else , for , while , class ,def 声明末尾添加 :(导致 "SyntaxError :invalid syntax") 该错误将发生在类似如下代码中: 复制代码 代码如下: if spam == 42 print('Hello!') 2)使用 = 而不是 ==(导致"SyntaxError: invalid syntax") = 是赋值操作符而 == 是等于比较操作.该错误发生在如下代码中: 复制代码

  • Scrapy启动报错invalid syntax的解决

    目录 Scrapy启动报错invalid syntax 报错信息 解决方法 使用scrapy做爬虫遇到的一些坑 1.引号的歧义:最外面应该使用单引号 2.使用了关键字做变量 3.进入shell窗口时,url添加了"" 4.使用xpath匹配相关信息,返回为空列表 Scrapy启动报错invalid syntax 报错信息 Traceback (most recent call last): File "d:\python\lib\runpy.py", line 19

  • 解决python运行启动报错问题

    问题一: python启动报错api-ms-win-crt-process-l1-1-0.dll 丢失 解决: 下载api-ms-win-crt-process-l1-1-0.dll文件丢到C:\Windows\SysWOW64(64位操作系统).C:\Windows\System32(32位操作系统)目录下 问题二: python运行时错误代码(0xc000007b) 解决: 下载directxrepair工具修复系统文件,修复成功后手动重启电脑 补充知识:Python3开启自带http服务

  • 解决idea启动报错javax.imageio.IIOException的问题

    idea启动报错javax.imageio.IIOException,解决点击ok打不开的问题 问题根源javax.imageio.IIOException: Can't get input stream from URL 出现该问题原因,根本原因就是因为下载了自定义idea背景图片的插件,如果你点击确定可以打开,百度有解决方案. 针对点击确定会闪退 点击确定之后出现闪退无法打开idea 1.点击确定,闪退之后 2.找到C盘的用户目录下, idea的异常都记录在这里 : 3.点击其中一个最新的文

  • Apache启动报错No space left on device: AH00023该怎么解决

    Apache启动报错No space left on device: AH00023错误可能是进程导致了,虽然小编不知道什么原因但网上提供的解决办法确实是可以解决我们的问题,下面来看看. 对于这类错误是因为linux系统的ipc信号量造成的,apache启动时,会创建很多子进程.他们是通过信号量来和子进程进行通信的. 信号量介绍: 信号量又称为信号灯,它是用来协调不同进程间的数据对象的,而最主要的应用是共享内存方式的进程间通信.本质上,信号量是一个计数器,它用来记录对某个资源(如共享内存)的存取

  • 微信二次分享报错invalid signature问题及解决方法

    基于微信公众号开发的h5页面(使用jssdk接口),由用户A分享给用户B,用户B再次分享这个页面时,不能成功分享.问题出在用户B收到的分享链接与用户A打开的链接不同 A用户的链接为 http://test.com/test.html B用户收到的连接 http://test.com/test.html&from=singlemessage from=singlemessage是微信客户端为了区分分享来源再链接后自动添加的标记,再次分享时,需要在js代码中对自动获取的连接进行encodeURICo

  • 解决IDEA配置tomcat启动报错问题

    在配置servlet不同路径时遇上以下两个错误: java.lang.NoSuchMethodError: javax.servlet.ServletContext.getVirtualServerName()Ljava/lang/String:  java.lang.ClassNotFoundException: org.apache.jsp.index_jsp: 对于第一个问题,我上网查阅了很多资料后发现,可能是tomcat版本冲突导致,catalina log如下: 19-Feb-2018

  • 解决SpringBoot webSocket 资源无法加载、tomcat启动报错的问题

    问题描述: 1. 项目集成WebSocket,且打包发布tomcat时出现websocket is already in CLOSING or CLOSE state这样的问题,建议参考"解决方法二",但是"解决方法一"请要了解查看 ,因为解决方法二是在一的基础上进行更正 2. 如果出现javax.websocket.server.ServerContainer not available这样的错误,请参考"解决方法一"中步骤3 解决方法一:(常

  • 解决MySQL启动报错:ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061)

    这个错误是新手经常会遇到的,本文主要介绍如何修复ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061) 解决方案: 1.登录到安装Mysql的主机,打开cmd命令行工具,执行命令mysql -uroot -p,报出下面所描述的错误: 2.在开始菜单中找到计算机管理,在计算机管理中找到[服务],在服务检查是否存在Mysql服务: 3.如果[步骤2]中找不到Mysql服务需要手动安装Mysql服务,安装命令为m

  • kafka 启动报错 missingTopicsFatal is true的解决

    kafka 启动报错:missingTopicsFatal is true 报错信息 org.springframework.context.ApplicationContextException: Failed to start bean 'org.springframework.kafka.config.internalKafkaListenerEndpointRegistry'; nested exception is java.lang.IllegalStateException: To

  • 解决springboot整合cxf启动报错,原因是版本问题

    springboot整合cxf启动报错 错误信息如下 [DEBUG] 2021-01-26 11:28:47,848 [main] org.springframework.boot.diagnostics.LoggingFailureAnalysisReporter - Application failed to start due to an exception org.springframework.beans.factory.NoSuchBeanDefinitionException: N

随机推荐