Python实现新浪博客备份的方法
本文实例讲述了Python实现新浪博客备份的方法。分享给大家供大家参考，具体如下：
Python2.7.2版本实现，推荐在IDE中运行。
# -*- coding:UTF-8 -*- ＃
'''
Created on 2011-12-18
@author: Ahan
'''
import re
import sys
import os
import time
import socket
import locale
import datetime
import codecs
from urllib import urlopen
#正则表达式定义
#匹配博文目录链接
pattern1=u"""<a href="(http:.*?)">博文目录</a>"""
prog1 = re.compile(pattern1)
#匹配博文标题链接
pattern2=u"""<a title="(.*?)" target="_blank" href="(.*?)">.*?</a>"""
prog2=re.compile(pattern2)
#匹配下一页链接
pattern3=u"""<a href="([^"]+)" title="[^"]+">下一页"""
prog3=re.compile(pattern3)
#匹配正文部分
pattern4=u"""<!--博文正文 begin -->[\\s\\S]*?<!-- 正文结束 -->"""
prog4=re.compile(pattern4)
#匹配正文图片链接
pattern5=u"""(src="[^"]+"( real_src ="([^"]+)"))"""
prog5=re.compile(pattern5)
def read_date_from_url(url):
"""以Unicode形式返回从url上读取的所有数据
"""
try:
data = ""
request = urlopen(url)
while True:
s = request.read(1024)
if not s:
break
data += s
return unicode(data)
except:
print '读取数据时出错'
print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
return None
finally:
if request:
request.close()
def save_to_file(url,filename,blog_address):
"""url为博文地址，filename为要保存的文件名，默认后缀为html
"""
#如果文件夹不存在则创建文件夹
if os.path.exists(blog_address)==False:
os.makedirs(blog_address)
#去掉文件名中的非法字符
filename=ReplaceBadCharOfFileName(filename)
file_no=0
while os.path.isfile(blog_address+'/'+filename+'.html')==True:
filename=filename+'('+file_no.__str__()+')'
file_no+=1
text = read_date_from_url(url)
text=_filter(text)
#将图片保存到本地
result=prog5.findall(text)
i=1
for pic in result:
folder=blog_address+'/'+filename+'/'
pic_name='image'+i.__str__()+'.gif'
if os.path.exists(folder)==False:
os.makedirs(folder)
try:
url_file = urlopen(pic[2])
pic_file = codecs.open(folder+pic_name,'wb')
while True:
s = url_file.read(1024)
if not s:
break
pic_file.write(s)
pic_file.close()
url_file.close()
except:
print '噢，保存图片的时候出现问题了，跳过此张图片...'
print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
else:
print '保存图片成功...'
#替换正文中的图片地址
text=text.replace(pic[0],unicode("src=\"" + filename + "/" + pic_name + "\"" + pic[1]),1)
i=i+1
blog_file = codecs.open(blog_address+'/'+filename+'.html','wb')
blog_file.write(text)
blog_file.close()
#提取文本中的正文部分
def _filter(t):
"""提取文本中的正文部分，返回Unicode形式的字符串
"""
result=prog4.search(t)
if result is not None:
return u'<html><head></head><body>' + unicode(result.group()) + u'</dody></html>'
else:
raise Exception('噢，提取正文出错了……')
#去掉文件名的不合法字符
def ReplaceBadCharOfFileName(filename):
filename=filename.replace(" ","")
filename=filename.replace("\\", "")
filename=filename.replace("/", "")
filename=filename.replace(":", "")
filename=filename.replace("*", "")
filename=filename.replace("?", "")
filename=filename.replace("<", "")
filename=filename.replace(">", "")
filename=filename.replace("|", "")
filename=filename.replace("&","")
filename=filename.replace(";","")
return filename
#主函数
if __name__ == '__main__':
#准备阶段
blog_no=1#博文编号
begin=1#起始博文
end=0#结束博文
page=0#页码
saved=0#成功保存的篇数
timeout = 60*5#超时设为5分钟
socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket，不必再设置
blog_address=raw_input("请输入您的博客地址（输入最后部分即可，比如您的博客地址是http://blog.sina.com.cn/jiangafu，只要输入jiangafu）：")
blog_address=blog_address.replace('\r','')
begin=raw_input('从第几篇开始：')
begin=locale.atoi(begin)
while begin<=0:
begin=raw_input('请输入大于0的数：')
begin=locale.atoi(begin)
end=raw_input('到第几篇结束（到最后请输入0）：')
end=locale.atoi(end)
while end<0:
end=raw_input('请输入大于等于0的数：')
end=locale.atoi(end)
if end==0:
print '您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到最后一篇博文'
else:
print '您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到第'\
+end.__str__()+'篇的博文'
starttime = datetime.datetime.now()
text=read_date_from_url('http://blog.sina.com.cn/'+blog_address)
time.sleep(0.5)
#提取“博文目录”的url
result = prog1.search(text)
if result is not None:
print '博文目录地址：' , result.group(1)
text=read_date_from_url(result.group(1))
time.sleep(0.4)
else:
print '提取博文目录地址失败'
#终止程序运行
sys.exit()
#查找每一页的全部博文，分析、提取、保存
while True:
page+=1
print '开始备份第' , page , '页'
#匹配该页的所有博文地址
result=prog2.findall(text)
#循环下载本页每篇博文
for blog in result:
if blog_no < begin:
blog_no += 1
elif end != 0 and blog_no > end:
break
else:
try:
save_to_file(blog[1],unicode(blog[0]),blog_address)
except:
print '噢，保存第',blog_no,'篇博文',blog[0],'的时候出现问题了，跳过...'
blog_no += 1
print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
else:
print '成功保存了第', blog_no, '篇博文:', blog[0]
blog_no += 1
saved += 1
time.sleep(0.4)
#判断是否有下一页
result = prog3.search(text)
if result is not None:
text = read_date_from_url(result.group(1))
else:
print '这是最后一页'
break
print '博客备份完成一共备份',saved,'篇博文'
print '共用时:',datetime.datetime.now() - starttime
raw_input('按回车键退出...')
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python数据结构与算法教程》、《Python Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
相关推荐
-
python备份文件的脚本
实际效果:假设给定目录"/media/data/programmer/project/python" ,备份路径"/home/diegoyun/backup/" , 则会将python目录下的文件按照全路经备份到备份路径下,形如: /home/diegoyun/backup/yyyymmddHHMMSS/python/xxx/yyy/zzz..... 复制代码 代码如下: import os import shutil import datetime def mai
-
Python实现备份文件实例
本文实例讲述了Python实现备份文件的方法,是一个非常实用的技巧.分享给大家供大家参考.具体方法如下: 该实例主要实现读取一个任务文件, 根据指定的任务参数自动备份. 任务文件的格式: (注意,分号后面注释是不支持的) [task] ; 一项任务开始 dir=h:/Project ; 指定备份的目录 recusive=1 ; 是否递归子目录 suffix=h|cpp|hpp|c|user|filters|vcxproj|sln|css|gif|html|bmp|png|lib|dsw|dsp|
-
Python实现简单的文件传输与MySQL备份的脚本分享
用python实现简单Server/Client文件传输: 服务器端: #!/usr/bin/python import SocketServer, time class MyServer(SocketServer.BaseRequestHandler): userInfo = { 'leonis' : 'leonis', 'hudeyong' : 'hudeyong', 'mudan' : 'mudan' } def handle(self): print 'Connected from',
-
python实现批量下载新浪博客的方法
本文实例讲述了python实现批量下载新浪博客的方法.分享给大家供大家参考.具体实现方法如下: # coding=utf-8 import urllib2 import sys, os import re import string from BeautifulSoup import BeautifulSoup def encode(s): return s.decode('utf-8').encode(sys.stdout.encoding, 'ignore') def getHTML(url
-
Python实现配置文件备份的方法
本文实例讲述了Python实现配置文件备份的方法.分享给大家供大家参考.具体如下: 这里平台为Linux: #!/usr/bin/python #Author:gdlinjianying@qq.com import os import time source = ['/etc/sysconfig/network-scripts', '/etc/sysconfig/network', '/etc/resolv.conf'] target_dir = '/opt/' target = target_
-
python实现备份目录的方法
本文实例讲述了python实现备份目录的方法.分享给大家供大家参考.具体如下: 备份脚本1: #!/usr/bin/python # Filename: backup_ver1.py import os import time # 1. The files and directories to be backed up are specified in a list. source = ['/home/swaroop/byte', '/home/swaroop/bin'] # If you ar
-
Python备份Mysql脚本
复制代码 代码如下: #!/usr/bin/python import os import time import ftplib import traceback #config vars systempathchr="/" #路径分割符,*nix用"/" win32用"\\" dbuser="root" #数据库用户名 dbpwd="dbpwd" #数据库密码 dbnamelist=[&quo
-
Python实现网站文件的全备份和差异备份
之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题: •md5sum获取有些软连接的MD5值存在问题 •不支持对空目录进行备份,因为md5sum无法获取空目录的md5值 •权限的修改md5sum无法判断 解决方案: 利用文件的mtime ctime mtime(Modified time)是在写入文件时随文件内容的更改而更改的 ctime(Create time)是在写入文件.更改所有者.权限或链接设置时随Inode的内容更改而更改的 废话不多说直接上代码: #!/usr/b
-
python备份文件以及mysql数据库的脚本代码
复制代码 代码如下: #!/usr/local/python import os import time import string source=['/var/www/html/xxx1/','/var/www/html/xxx2/'] target_dir='/backup/' target=target_dir+time.strftime('%Y%m%d') zip_comm='zip -r %s %s'%(target," ".join(source)) target_data
-
Python实现新浪博客备份的方法
本文实例讲述了Python实现新浪博客备份的方法.分享给大家供大家参考,具体如下: Python2.7.2版本实现,推荐在IDE中运行. # -*- coding:UTF-8 -*- # ''' Created on 2011-12-18 @author: Ahan ''' import re import sys import os import time import socket import locale import datetime import codecs from urllib
-
JS实现新浪博客左侧的Blog管理菜单效果代码
本文实例讲述了JS实现新浪博客左侧的Blog管理菜单效果代码.分享给大家供大家参考,具体如下: 这里介绍新浪博客左侧的Blog管理菜单,我们变通一下,如果你在设计程序,那么本款菜单用到后台管理中想必应该很合适吧,图片是调用新浪的,用了比较多的图片,你用的时候最好是下载到本地,以免新浪哪天改版了,你就傻了. 运行效果截图如下: 在线演示地址如下: http://demo.jb51.net/js/2015/js-sina-blog-left-menu-style-codes/ 具体代码如下: <ht
-
新浪博客在线编辑器傻瓜调用版（2007.11.1第四次修正）提供下载了
前几天21EClub发布出新浪博客编辑器下载用了一下 感觉不错不过见很多朋友不知道怎么调用于是花了一晚上时间把编辑器修改了一下方便大家使用 1.添加时图片增加上传功能(ASP无组件上传)2.IFRAME方式调用 用法类似eWebEditor 调用方法:<input type="hidden" name="content" id="content"><iframe src="Edit/editor.htm?id=co
-
Python使用Django实现博客系统完整版
今天花了一些时间搭了一个博客系统,虽然并没有相关于界面的美化,但是发布是没问题的. 开发环境 操作系统:windows 7 64位 Django: 1.96 Python:2.7.11 IDE: PyCharm 2016.1 功能篇 既然是博客系统,发布的自然是博客了.让我们想想,一篇博客有什么属性.所以我们要有能添加博客,删除博客,修改博客,以及给博客发评论,贴标签,划分类等功能. 关系分析 属性 博客:标题,内容. 标签:标签名 分类:分类的名称 评论:评论人,评论人email,评论内容 关
-
使用python和Django完成博客数据库的迁移方法
上一讲完成了基本博客的配置和项目工程的生成.这次开始将博客一些基本的操作主要是数据库方面学习. 1.设计博客数据库表结构 博客最主要的功能就是展示我们写的文章,它需要从某个地方获取博客文章数据才能把文章展示出来,通常来说这个地方就是数据库.我们把写好的文章永久地保存在数据库里,当用户访问我们的博客时,Django 就去数据库里把这些数据取出来展现给用户. 博客的文章应该含有标题.正文.作者.发表时间等数据.一个更加现代化的博客文章还希望它有分类.标签.评论等.为了更好地存储这些数据,我们需要合理
-
利用Python Django实现简单博客系统
第一节 - 基础 1. 简单的导览图,学会不迷路 对 Django 的评价:借用李清照的<鹧鸪天 桂花>来表达, 暗淡轻黄体性柔.情疏迹远只香留.何须浅碧深红色,自是花中第一流. 梅定妒,菊应羞.画阑开处冠中秋.骚人可煞无情思,何事当年不见收. Django makes it easier to build better Web apps more quickly and with less code. 容易上手,开发速度快 囊括了网站开发中的用户管理,内容管理,网站地图,RSS等常用的插件
-
如何使用python爬取csdn博客访问量
最近学习了python和爬虫,想写一个程序练练手,所以我就想到了大家都比较关心的自己的博客访问量,使用python来获取自己博客的访问量,这也是后边我将要进行的项目的一部分,后边我会对博客的访问量进行分析,以折线图和饼图等可视化的方式展示自己博客被访问的情况,使自己能更加清楚自己的哪些博客更受关注,博客专家请勿喷,因为我不是专家,我听他们说专家本身就有这个功能. 一.网址分析 进入自己的博客页面,网址为:http://blog.csdn.net/xingjiarong 网址还是非常清晰的就是cs
-
详解Python爬虫爬取博客园问题列表所有的问题
一.准备工作 首先,本文使用的技术为 python+requests+bs4,没有了解过可以先去了解一下. 我们的需求是将博客园问题列表中的所有问题的题目爬取下来. 二.分析: 首先博客园问题列表页面右键点击检查 通过Element查找问题所对应的属性或标签 可以发现在div class ="one_entity"中存在页面中分别对应每一个问题 接着div class ="news_item"中h2标签下是我们想要拿到的数据 三.代码实现 首先导入requests和
-
php调用新浪短链接API的方法
本文实例讲述了php调用新浪短链接API的方法.分享给大家供大家参考.具体方法如下: 复制代码 代码如下: <?php //Sina App_Key define('SINA_APPKEY', '31641035'); function curlQuery($url) { //设置附加HTTP头 $addHead = array( "Content-type: application/json" ); //初始化curl,当然,你也可以用fsockopen代替 $cu