Python爬取附近餐馆信息代码示例

2024-10-20 09:39:54

本代码主要实现抓取大众点评网中关村附近的餐馆有哪些，具体如下：

import urllib.request
import re 

def fetchFood(url):
  # 模拟使用浏览器浏览大众点评的方式浏览大众点评
  headers = {'User-Agent',
        'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
  opener = urllib.request.build_opener()
  opener.addheaders = [headers]
  data = opener.open(url).read()
  data = data.decode('utf')
   print('================================抓取的页面数据=======================================')
  print(data)   # 打印抓取的页面
   print('================================获取的餐馆信息====================================')
  foodNameSet = set(re.compile(r'<img title="(.*?)"', re.DOTALL).findall(data))
  number = 0
  for i in foodNameSet:
    number = number + 1
    print("第%d个餐馆： %s" % (number, i))
foodUrl = "http://www.dianping.com/search/category/2/10/r1488"
fetchFood(foodUrl)

输出结果：


"D:\ProgramFiles\python\python.exe"D:/zhangzh/program/MyGitHub/python3-webapp-demo/www/dzdp.py
================================抓取的页面数据=======================================
<!DOCTYPEhtml>
<html>
<head>
<metacharset="UTF-8"/>
<metahttp-equiv="X-UA-Compatible"content="IE=edge"/>
<script>(function(n){vare;e="//catdot.dianping.com/broker-service/api/js",n.onerror=function(n,o,r){vari=encodeURIComponent,t=+newDate();(newImage).src=e+"?error="+i(n)+"&file="+i(o)+"&line="+i(r)+"×tamp="+t}})(window);</script>
<title>北京中关村美食-大众点评网</title>
......此处省略
<liclass="">
<divclass="pic">
<atarget="_blank"href="/shop/33562041" rel="external nofollow" rel="external nofollow" rel="external nofollow" title="">
<imgtitle="渝是乎(中关村店)"alt="渝是乎(中关村店)"data-src="http://p0.meituan.net/ugcpic/023ff4be1a239be5b7f13ac328bc6c5d%40249w_249h_0e_1l%7Cwatermark%3D1%26%26r%3D1%26p%3D9%26x%3D2%26y%3D2%26relative%3D1%26o%3D20"/>
</a>
</div>
<divclass="txt">
<divclass="tit">
<aonclick="document.hippo.ext({cl_i:10,query_id:'4ab097b5-d3b6-441b-a684-8b58c0704567'}).mv('cl_to_s',33562041);
"data-hippo-type="shop"title="渝是乎(中关村店)"target="_blank"href="/shop/33562041" rel="external nofollow" rel="external nofollow" rel="external nofollow" >
<h4>渝是乎(中关村店)</h4>
</a>
<divclass="promo-icon">
<atarget="_blank"href="/shop/33562041#waimai" rel="external nofollow"
class="iout"title="本店支持在线下单，足不出户，外送到家！"></a>
</div>
<atarget="_blank"href="/search/branch/2/0_33562041/g0" rel="external nofollow"
module="list-branch"
class="shop-branch">分店</a>
</div>
<divclass="comment">
<spanclass="sml-rank-starssml-str50"title="五星商户"></span>
<ahref="/shop/33562041#comment" rel="external nofollow" class="review-num"target="_blank"module="list-readreview"
>
<b>1536</b>
条点评</a>
<emclass="sep">|</em>
<ahref="/shop/33562041" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="mean-price"target="_blank">
人均
<b>￥42</b>
</span>
</a>
</div>
<divclass="tag-addr">
<ahref="/search/category/2/10/g102" rel="external nofollow" ><spanclass="tag">川菜</span></a>
<emclass="sep">|</em>
<ahref="/search/category/2/0/r1488" rel="external nofollow" ><spanclass="tag">中关村</span></a>
<spanclass="addr">榆树林1号</span>
</div>
<spanclass="comment-list">
<span>口味<b>9.1</b></span>
<span>环境<b>8.7</b></span>
<span>服务<b>8.3</b></span>
</span>
</div>
<divclass="svr-info">
......此处省略
</script>
</body></html>
================================获取的餐馆信息====================================
第1个餐馆：重八牛府(之初入江湖店)
第2个餐馆：纽约客美式餐厅(新中关店)
第3个餐馆：Chatuchak加都加曼谷潮流甜品
第4个餐馆：新净雅烹小鲜
第5个餐馆：那家小馆(中关村店)
第6个餐馆：谷得一
第7个餐馆：唐廊.朴禅(当代商城店)
第8个餐馆：小福楼餐厅
第9个餐馆：食宝街
第10个餐馆：渝是乎(中关村店)
第11个餐馆：品咖啡
第12个餐馆：小吊梨汤(融科店)
第13个餐馆：鱼八斗老麻水煮鱼（酸菜鱼）
第14个餐馆：鳗鳗的爱(新中关购物中心店)
第15个餐馆：速度牛排
Processfinishedwithexitcode0

总结

以上就是本文关于Python爬取附近餐馆信息代码示例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站：

python登录并爬取淘宝信息代码示例

Python爬取当当、京东、亚马逊图书信息代码实例

matplotlib在python上绘制3D散点图实例详解

如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！

利用python爬取斗鱼app中照片方法实例

前言没想到python是如此强大,令人着迷,以前看见图片总是一张一张复制粘贴,现在好了,学会python就可以用程序将一张张图片,保存下来. 最近看到斗鱼里的照片都不错,决定用最新学习的python技术进行爬取,下面将实现的过程分享出来供大家参考,下面话不多说了,来一起看看详细的介绍吧. 方法如下: 首先下载一个斗鱼(不下载也可以,url都在这了对吧) 通过抓包,抓取到一个json的数据包,得到下面的地址观察测试可知,通过修改offset值就是相当于app的翻页访问这个url,返回得到的是
python登录并爬取淘宝信息代码示例

本文主要分享关于python登录并爬取淘宝信息的相关代码,还是挺不错的,大家可以了解下. #!/usr/bin/env python # -*- coding:utf-8 -*- from selenium import webdriver import time import datetime import traceback import logging import os from selenium.webdriver.common.action_chains import ActionC
Python抓取框架Scrapy爬虫入门：页面提取

前言 Scrapy是一个非常好的抓取框架,它不仅提供了一些开箱可用的基础组建,还能够根据自己的需求,进行强大的自定义.本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的相关内容,分享出来供大家参考学习,下面随着小编来一起学习学习吧. 在开始之前,关于scrapy框架的入门大家可以参考这篇文章:http://www.jb51.net/article/87820.htm 下面创建一个爬虫项目,以图虫网为例抓取图片. 一.内容分析打开图虫网,顶部菜单"发现" "
Python中Scrapy爬虫图片处理详解

下载图片下载图片有两种方式,一种是通过 Requests 模块发送 get 请求下载,另一种是使用 Scrapy 的 ImagesPipeline 图片管道类,这里主要讲后者. 安装 Scrapy 时并没有安装图像处理依赖包 Pillow,需手动安装否则运行爬虫出错. 首先在 settings.py 中设置图片的存储路径: IMAGES_STORE = 'D:/' 图片处理相关的选项还有: # 图片最小高度和宽度设置,可以过滤太小的图片 IMAGES_MIN_HEIGHT = 110 IMAG
深入理解Python分布式爬虫原理

首先,我们先来看看,如果是人正常的行为,是如何获取网页内容的. (1)打开浏览器,输入URL,打开源网页 (2)选取我们想要的内容,包括标题,作者,摘要,正文等信息 (3)存储到硬盘中上面的三个过程,映射到技术层面上,其实就是:网络请求,抓取结构化数据,数据存储. 我们使用Python写一个简单的程序,实现上面的简单抓取功能. #!/usr/bin/python #-*- coding: utf-8 -*- ''''' Created on 2014-03-16 @author: Kris '
python爬取亚马逊书籍信息代码分享

我有个需求就是抓取一些简单的书籍信息存储到mysql数据库,例如,封面图片,书名,类型,作者,简历,出版社,语种. 我比较之后,决定在亚马逊来实现我的需求. 我分析网站后发现,亚马逊有个高级搜索的功能,我就通过该搜索结果来获取书籍的详情URL. 由于亚马逊的高级搜索是用get方法的,所以通过分析,搜索结果的URL,可得到node参数是代表书籍类型的.field-binding_browse-bin是代表书籍装饰. 所以我固定了书籍装饰为平装,而书籍的类型,只能每次运行的时候,爬取一种类型的书籍难
Python爬取当当、京东、亚马逊图书信息代码实例

注:1.本程序采用MSSQLserver数据库存储,请运行程序前手动修改程序开头处的数据库链接信息 2.需要bs4.requests.pymssql库支持 3.支持多线程 from bs4 import BeautifulSoup import re,requests,pymysql,threading,os,traceback try: conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root',
Python爬虫实现爬取京东手机页面的图片(实例代码)

实例如下所示: __author__ = 'Fred Zhao' import requests from bs4 import BeautifulSoup import os from urllib.request import urlretrieve class Picture(): def __init__(self): self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleW
Python爬取附近餐馆信息代码示例

本代码主要实现抓取大众点评网中关村附近的餐馆有哪些,具体如下: import urllib.request import re def fetchFood(url): # 模拟使用浏览器浏览大众点评的方式浏览大众点评 headers = {'User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'} ope
Python爬取豆瓣视频信息代码实例

这篇文章主要介绍了Python爬取豆瓣视频信息代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下这里是爬取豆瓣视频信息,用pyquery库(jquery的python库). 一:代码 from urllib.request import quotefrom pyquery import PyQuery as pqimport requestsimport pandas as pddef get_text_page (movie_name)
Python爬取12306车次信息代码详解

详情查看下面的代码: 如果被识别就要添加一个cookie如果没有被识别的话就要一个user-agent就好了.如果出现乱码就设置编码格式为utf-8 #静态的数据一般在elements中(复制文字到sources按ctrl+f搜索.找到的为静态),而动态去network中去寻找相关的信息 import requests import re def send_request(): headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win6
python爬取新闻门户网站的示例

项目地址: https://github.com/Python3Spiders/AllNewsSpider 如何使用每个文件夹下的代码就是对应平台的新闻爬虫 py 文件直接运行 pyd 文件需要,假设为 pengpai_news_spider.pyd 将 pyd 文件下载到本地,新建项目,把 pyd 文件放进去项目根目录下新建 runner.py,写入以下代码即可运行并抓取 import pengpai_news_spider pengpai_news_spider.main() 示例代码
python爬取哈尔滨天气信息

本文实例为大家分享了python爬取哈尔滨天气信息的具体代码,供大家参考,具体内容如下环境: windows7 python3.4(pip install requests:pip install BeautifulSoup4) 代码: (亲测可以正确执行) # coding:utf-8 """ 总结一下,从网页上抓取内容大致分3步: 1.模拟浏览器访问,获取html源代码 2.通过正则匹配,获取指定标签中的内容 3.将获取到的内容写到文件中 ""&qu
python 爬取小说并下载的示例

代码 import requests import time from tqdm import tqdm from bs4 import BeautifulSoup """ Author: Jack Cui Wechat: https://mp.weixin.qq.com/s/OCWwRVDFNslIuKyiCVUoTA """ def get_content(target): req = requests.get(url = target) r
python爬取气象台每日天气图代码

目录前言 1.安装Selenium 2. 安装chromedriver 3.代码前言中央气象台网站更新后,以前的爬虫方式就不太能用了,我研究了一下发现主要是因为网站上天气图的翻页模式从点击变成了滑动,页面上的图片src也只显示当前页面的,因此,按照网络通俗的方法去爬取就只能爬出一张图片.看了一些大佬的教程后自己改出来一个代码. 1.安装Selenium Selenium是一个Web的自动化(测试)工具,它可以根据我们的指令,让浏览器执行自动加载页面,获取需要的数据等操作. pip inst
Python爬取城市租房信息实战分享

目录一.单线程爬虫二.优化为多线程爬虫三.使用asyncio进一步优化四.存入Mysql数据库 (一)建表 (二)将数据存入数据库中五.最终效果图 (已打码) 思路:先单线程爬虫,测试可以成功爬取之后再优化为多线程,最后存入数据库以爬取郑州市租房信息为例注意:本实战项目仅以学习为目的,为避免给网站造成太大压力,请将代码中的num修改成较小的数字,并将线程改小一.单线程爬虫 # 用session取代requests # 解析库使用bs4 # 并发库使用concurrent impo
用python爬取电脑壁纸实例代码

目录前言一.用到的工具二.爬取步骤与过程 1.用到的库 2.解析代码 3.最后上全部的代码啦总结前言听说好的编程习惯是从写文章敲代码开始的,下面给大家介绍一个简单的python爬取图片的过程,超简单.我都不好意思写,但是主要是捋一下爬取过程.本文只是技术交流的,请不要商业用途哈一.用到的工具使用python爬虫工具,我使用的工具就是学习python都会用的的工具,一个是pycharm,一个是chrome,使用chrome只是我的个人习惯,也可以用其他的浏览器,我除了这两个软件还用

Python爬取附近餐馆信息代码示例

相关推荐

随机推荐