python编程实现12306的一个小爬虫实例

2024-09-27 06:13:46

本文思路主要来源于实验楼的教程，但是一些具体的一些细节是我自己发现的，比如哪里获得站点对应的3位英文编号，怎么获得这个查询的url

本文用到的库主要有requests(获取url的内容),prettytable（让文本输出美观）,argparse（命令行参数解析）

关于这些库怎么使用，可以参见我之前的博文

1、首先打开12306余票查询的界面

https://kyfw.12306.cn/otn/lcxxcx/init

我们想要的信息当然就是在输入了始发站、终点站和日期之后各车次的时间和车票余量，那么我们尝试在始发站使用检查元素，观察一下它是怎么上传始发站的信息的，那么我们不妨随便输入出发地、目的地和信息，使用抓包工具来看看它是怎么发包的（使用浏览器也可以，因为我们只需要查看包的内容，不需要更改包）

2、

在chrome的network中我们可以查看到我们点击之后浏览器发送的所有包（关于http包的知识不熟悉的同学，可以看看《图解http》这本书）

点击查询之后我们马上就会注意到以query开头的这个包，显然这就是一个查询指令，我们看看这个包的url

'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2016-10-04&from_station=BJP&to_station=XKS'

然后我们看看它的response

仔细观察就能发现它其实是一串json格式的字符串（要非常有经验。。。。）

3、经过以上这些过程，我们大致就能知道我们需要做的是什么了，我们只需要更改url中的data，fromstaion,tostaion后面的内容，然后用requests获得response，然后解析这一串json字符就行了。

但是我们会发现，日期还好说，对于fromstation和tostaion的代码，我们该怎么办呢？

4、有两种可能，一中可能是这些文件在服务器上，每回改变站点网页都会从服务器请求这个站点的代码，还有一种可能是这个已经下载到本地了，如何判断呢？我们不妨改变一下始发站，然后用抓包软件（或者浏览器）观察我们的浏览器是否向12306发送了包

把北京改成了上海，但是我们发现浏览器并没有发送包

这样我们基本可以肯定这个车站编号信息是存在本地了（已经从服务器下载下来）

5、我们这时候，就需要分析html来发现这个编号信息到底储存在了那里

我们试着检查一下出发地附近的html标签，在‘热门'上面点击检查，我们很容易发现这个标签上面带了一个onclick方法

我们发现这个onclick方法指向了一个js文件，并且名字是‘Stationfor12306'，基本我们可以确定这个js文件就是我们需要的站点信息文件了。

6、我们尝试在这个html（12306余票查询界面）里面搜一下stationfor，我们马上就能发现，它就在<head>标签的<script>元素里，并且指向了一个url

进入这个url看看，我们马上就发现站点信息已经被我们找到啦(注意这是一个相对URL,绝对url需要在前面补上https://kyfw.12306.cn/)

关于怎么获取三位数的车站代码，用正则，字符串查询都是可以的啦，由于这里是固定的3位车站代码，我就用简单的字符串查询来提取这个代码了。

7、剩下的工作，基本就是代码实现了，关于具体怎么实现，我把我的代码贴在下面了。

#coding=utf-8
import requests
import argparse
import datetime
import re
from prettytable import PrettyTable
now = datetime.datetime.now() 

tomorrow = now+datetime.timedelta(days=1)
tomorrow = tomorrow.strftime('%Y-%m-%d')
print tomorrow 

argument = argparse.ArgumentParser()
argument.add_argument('--fromcity','-f',default='hangzhoudong')
argument.add_argument('--tocity','-t',default='xiamen')
argument.add_argument('--date','-d',default=tomorrow)
# argument.add_argument('-d',action='store_true')
args =argument.parse_args() 

from_station = args.fromcity
to_station = args.tocity
Date = args.date 

stationlist_url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js'
r = requests.get(stationlist_url, verify=False)
stationlist = r.content 

ToStation = ''
FromStation = '' 

placea = stationlist.find(from_station)
placeb = stationlist.find(to_station) 

for i in range(-4,-1):
  FromStation += stationlist[placea+i]
for i in range(-4,-1):
  ToStation += stationlist[placeb+i] 

query_url='https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate='+Date+'&from_station='+FromStation+'&to_station='+ToStation
r = requests.get(query_url,verify=False) 

with open('json.txt','w') as fp:
   fp.write(str(r.json())) 

if 'datas' in r.json()["data"]:
  rj = r.json()["data"]["datas"]
  pt = PrettyTable() 

  header = '车次 车站 到站时间 时长 一等座 二等座 软卧 硬卧 硬座 无座'.split()
  pt._set_field_names(header) 

  for x in rj:
    ptrow = []
    ptrow.append(x["station_train_code"])
    ptrow.append('\n'.join([x["from_station_name"],x["to_station_name"]]))
    ptrow.append('\n'.join([x["start_time"], x["arrive_time"]]))
    ptrow.append(x["lishi"].replace(':','h')+'m')
    ptrow.append(x['zy_num'])
    ptrow.append(x['ze_num'])
    ptrow.append(x['rw_num'])
    ptrow.append(x['yw_num'])
    ptrow.append(x['yz_num'])
    ptrow.append(x['wz_num'])
    pt.add_row(ptrow)
  print pt
else :
  print '这两个站点没有直达列车'

总结

以上就是本文关于python编程实现12306的一个小爬虫实例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！

Python脚本实现12306火车票查询系统

最近我看到看到使用python实现火车票查询,我自己也实现了,感觉收获蛮多的,下面我就把每一步骤都详细给分享出来.(注意使用的是python3) 首先我将最终结果给展示出来: 在cmd命令行执行:python tickets.py -dk shanghai chengdu 20161007 > result.txt 意思是:查询上海--成都 2016.10.07 的D和K开头的列车信息,并保存到 result.txt文件中:下面就是result.txt文件中的结果: 下面的将是实现步骤: 1.
Python使用面向对象方式创建线程实现12306售票系统

目前python 提供了几种多线程实现方式 thread,threading,multithreading ,其中thread模块比较底层,而threading模块是对thread做了一些包装,可以更加方便的被使用. 面向对象技术简介类(Class): 用来描述具有相同的属性和方法的对象的集合.它定义了该集合中每个对象所共有的属性和方法.对象是类的实例. 类变量:类变量在整个实例化的对象中是公用的.类变量定义在类中且在函数体之外.类变量通常不作为实例变量使用. 数据成员:类变量或者实例变量用于
python实现12306火车票查询器

12306火车票购票软件大家都用过,怎么用Python写一个命令行的火车票查看器,要求在命令行敲一行命令来获得你想要的火车票信息,下面通过本文学习吧. Python火车票查询器接口设置先给这个小应用起个名字吧,既然及查询票务信息,那就叫它tickets 我们希望用户只要输入出发站,到达站以及日期就让就能获得想要的信息,所以tickets应该这样被使用: $ tickets from to date 最终 $ tickets [-gdtkz] from to date 开发环境用virtua
python+pyqt实现12306图片验证效果

本文实例为大家分享了python实现12306图片验证效果的具体代码,供大家参考,具体内容如下思路:在鼠标点击位置加一个按钮,然后再按钮中的点击事件中写一个关闭事件. #coding:utf-8 from PyQt4.QtGui import * from PyQt4.QtCore import * from push_button import * from PIL import Image class Yanzheng(QWidget): def __init__(self,parent=
使用Python神器对付12306变态验证码

临近春节,我们小编带领大家用Python抢火车票! 首先我们需要splinter 安装: pip install splinter -i http://pypi.douban.com/simple –trusted-host pypi.douban.com 然后还需要一个浏览器的驱动,当然用chrome啦下载地址: http://chromedriver.storage.googleapis.com/index.html?path=2.20/ 根据下载的自己的电脑系统选择下载包,我的windo
Python模拟登录12306的方法

本文实例讲述了Python模拟登录12306的方法.分享给大家供大家参考. 具体实现方法如下: 复制代码代码如下: #!/usr/bin/python # -*- coding: utf-8 -*- import re; import sys; import cookielib; import urllib; import urllib2; import optparse; import json; import httplib2; reload(sys) sys.setdefaulten
利用python代码写的12306订票代码

本文实例讲述了python代码写的12306订票代码,分享给大家供大家参考. 具体实现方法如下: import datetime import json import re import sys import time import Image import PyV8 import requests import tools.email_helper as emailHelper reload(sys) sys.setdefaultencoding('utf-8') # @UndefinedVa
python编程实现12306的一个小爬虫实例

本文思路主要来源于实验楼的教程,但是一些具体的一些细节是我自己发现的,比如哪里获得站点对应的3位英文编号,怎么获得这个查询的url 本文用到的库主要有requests(获取url的内容),prettytable(让文本输出美观),argparse(命令行参数解析) 关于这些库怎么使用,可以参见我之前的博文 1.首先打开12306余票查询的界面 https://kyfw.12306.cn/otn/lcxxcx/init 我们想要的信息当然就是在输入了始发站.终点站和日期之后各车次的时间和车票余量,
Python编程mac下使用pycharm小技巧

pycharm创建新文件自动添加文件头注释背景我们平时在使用pycharm发现有些大神创建一个新文件的时候会自动在文件头添加一些注释,像是有文件路径,创建时间,创建人,集成平台等信息,但是我们自己创建的时候就没有,不着急,只需要一点的简单的配置就能实现. 方法通过pycharm->Perferences进入设置模式选择File and Code Template -> Python Script 在文件中加入以下配置 # -*- coding: utf-8 -*- # @Time :
python编程使用selenium模拟登陆淘宝实例代码

selenium简介 selenium 是一个web的自动化测试工具,不少学习功能自动化的同学开始首选selenium ,相因为它相比QTP有诸多有点: * 免费,也不用再为破解QTP而大伤脑筋 * 小巧,对于不同的语言它只是一个包而已,而QTP需要下载安装1个多G 的程序. * 这也是最重要的一点,不管你以前更熟悉C. java.ruby.python.或都是C# ,你都可以通过selenium完成自动化测试,而QTP只支持VBS * 支持多平台:windows.linux.MAC ,支持多浏
python编程测试电脑开启最大线程数实例代码

本文实例代码主要实现python编程测试电脑开启最大线程数,具体实现代码如下. #!/usr/bin/env python #coding=gbk import threading import time, random, sys class Counter: def __init__(self): self.lock = threading.Lock() self.value = 0 def increment(self): self.lock.acquire() self.value = v
python反编译教程之2048小游戏实例

目录一.背景二.工具准备 1.pyinstxtractor.py脚本用于反编译python 2.winhex用于编辑16进制的软件三.反编译 1.放置脚本 2.运行脚本 3.找到软件名文件和struct文件 4.托入winhex进行对比 5.将struct多出的那一行复制到puzzle前面 6.更改其后缀为.pyc 7.安装第三方库uncompyle 8.python版本为3.8以下可以调用uncompyle 9.python版本为3.8以上可以选择在线工具(.pyc>.py) 10.最后
python编程实现随机生成多个椭圆实例代码

椭圆演示: 代码示例: import matplotlib.pyplot as plt import numpy as np from matplotlib.patches import Ellipse NUM = 250 ells = [Ellipse(xy=np.random.rand(2) * 10, width=np.random.rand(), height=np.random.rand(), angle=np.random.rand() * 360) for i in range(N
基于Python实现的百度贴吧网络爬虫实例

本文实例讲述了基于Python实现的百度贴吧网络爬虫.分享给大家供大家参考.具体如下: 完整实例代码点击此处本站下载. 项目内容: 用Python写的百度贴吧的网络爬虫. 使用方法: 新建一个BugBaidu.py文件,然后将代码复制到里面后,双击运行. 程序功能: 将贴吧中楼主发布的内容打包txt存储到本地. 原理解释: 首先,先浏览一下某一条贴吧,点击只看楼主并点击第二页之后url发生了一点变化,变成了: http://tieba.baidu.com/p/2296712428?see_lz=
Python爬虫实例爬取网站搞笑段子

众所周知,python是写爬虫的利器,今天作者用python写一个小爬虫爬下一个段子网站的众多段子. 目标段子网站为"http://ishuo.cn/",我们先分析其下段子的所在子页的url特点,可以轻易发现发现为"http://ishuo.cn/subject/"+数字, 经过测试发现,该网站的反扒机制薄弱,可以轻易地爬遍其所有站点. 现在利用python的re及urllib库将其所有段子扒下 import sys import re import urllib
nodejs制作小爬虫功能示例

本文实例讲述了nodejs制作小爬虫功能.分享给大家供大家参考,具体如下: 1 安装nodejs 2 安装需要模块 npm install request cheerio 3 新建js文件 4 引入 const request=require("request") const cheerio=require("cheerio") 5 利用request模块发送请求 request('http://news.dgut.edu.cn/dgut/xydt/news_lis
写一个Python脚本自动爬取Bilibili小视频

我身边的很多小伙伴们在朋友圈里面晒着出去游玩的照片,简直了,人多的不要不要的,长城被堵到水泄不通,老实人想想啊,既然人这么多,哪都不去也是件好事,没事还可以刷刷 B 站 23333 .这时候老实人也有了一个大胆地想法,能不能让这些在旅游景点排队的小伙伴们更快地打发时间呢?考虑到视频的娱乐性和大众观看量,我决定对 B 站新推出的小视频功能下手,于是我跑到B站去找API接口,果不起然,B站在小视频功能处提供了 API 接口,小伙伴们有福了哟! B 站小视频网址在这里哦: http://vc.bili

python编程实现12306的一个小爬虫实例

相关推荐

随机推荐