php生成百度sitemap站点地图类函数实例

本文实例讲述了php生成百度sitemap站点地图类函数的方法,分享给大家供大家参考。具体实现方法如下:

问题概述:

公司网站是问答百科的网站、seo工程师提出需求说根据网站的问题来生成xml文件。每个xml文件包含5000条setmap格式数据。现在线上网站大约有70w条问题,所以说基本生成140个xml文件。还有一个索引文件。比如文件的名称以数字开头的。索引文件包含的内容就是每个xml文件的路径还有名称。
为什么要每个文件存储5000条数据呢,因为这是mysql的一个界限值、如果每次取多了以后可能会对线上用户访问造成影响,或者速度变慢。每个文件存储5000条数据,但是mysql selsect的时候不能每次取5000条、现在写的是每次取1000条。那这样逻辑就有点复杂。

实现方法:

首先取出1000条数据(可以灵活些成活的,方便以后修改),然后循环生成xml格式文件。file_puts_contens写入文件。然后再把生成的xml文件名称、取出问题的最小id、取出问题的最大id、取出问题的条数写出一个索引查询的txt文件当中,格式大概是这个样子的。
0,3146886,3145887,1000
发现最后面的条数是1000了吗、第一次select取出1000条数据、然后写入0.xml文件当中。把取出的xml文件名称、最小id、最大id、条数写入到索引查询txt中。第一次写入了1000条数据到0.xml、生成条数为1000。第二次查询的时候select语句会成为。 where id > 取出的最大id(当前mysql为正序查询、如果为倒序、改成小于) limit 1000 这样的话又取出1000、然后修改索引查询txt的最小id、最大id、生成条数加到2000。以此类推等生成条数到了5000的时候再另起一行写入索引文件、类似这样
0,3146886,3145887,5000
1,3148886,3147887,1000
这样写的话就减轻了服务器的压力。
下面贴出实现代码(风格有点乱):

具体功能代码如下:

代码如下:

<?php
/*
 * SiteMap接口类
 */
 
class SitemapAction extends Action{
private static $baseURL = ''; //URL地址
private static $askMobileUrl = 'http://m.xxx.cn/ask/'; //问答移动版地址
private static $askPcUrl = "http://www.xxx.cn/ask/";   //问答pc地址
private static $askZonePcUrl = "http://www.xxx.cn/ask/jingxuan/"; //问答精选Pc链接
private static $askZoneMobileUrl = "http://m.xxx.cn/ask/jx/"; //问答精选移动版链接
        //问答setmaps
public function askSetMap(){
header('Content-type:text/html;charset=utf-8');
//获取问题列表
$maxid = 0;    //索引文件最大id
$minid = 0;    //索引文件最小id
$psize = 1000; //数据库每次取数量
$maxXml = 5000; //xml写入记录数量
$where = array();
//读取索引文件
$index = APP_PATH.'setmapxml/Index.txt';
//关联setmaps路径
$askXml = "../siteditu/ask/ask.xml";
if(!file_exists($index)){
$fp=fopen("$index", "w+");
if ( !is_writable($index) ){
die("文件:" .$index. "不可写,请检查!");
}
fclose($fp);
}else{
//index.txt文件说明 0:xml文件名称(从1开始)、1:文件最大id、2:文件最小id、3:文件当前记录数
$fp = file($index);
$string = $fp[count($fp)-1];//显示最后一行
$arr = explode(',', $string);
}
//索引文件数量是否小于$maxXml
//如果为第一次运行
if(!$arr[1]){
$bs=1;
$filename=0;
}else{
if($arr && $arr[3]<$maxXml){
$filename = $arr[0];
$psize = $maxXml-$arr[3]>$psize?$psize:($maxXml-$arr[3]);
$bs = 0;
}else{
$filename = $arr[0]+1;
$bs=1;
}
}
$maxid = empty($arr[1])?0:$arr[1];
$minid = empty($arr[2])?0:$arr[2];
echo "文件名称:".$filename.".xml"."<br/ >";
echo "最大id:".$maxid."<br />";
echo "最小id:".$minid."<br />";
echo "xml写入最大记录:".$maxXml."<br />";
echo "数据库每次读取数量:".$psize."<br />";
$list = self::$questionObj->getQuestionSetMap($where,$maxid,$psize);
if(count($list)<=0){
echo 1;exit;
}
$record = $arr[3]+count($list); //索引文件写入记录数
$indexArr = array('filename'=>$filename,'maxid'=>$maxid,'minid'=>$minid,'maxXml'=>$record);
$start = '<?xml version="1.0" encoding="UTF-8" ?> '.chr(10);
$start.="<urlset xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\" xmlns:mobile=\"http://www.baidu.com/schemas/sitemap-mobile/1/\">".chr(10);
                                $start.="</urlset>";
foreach($list as $k=>$qinfo){
if($k==0)
$indexArr['minid']=$qinfo['id'];
$qinfo['lastmod'] = substr($qinfo['lasttime'],0,10);
$qinfo['mobielurl'] = self::$askMobileUrl.$qinfo['id'].'.html'; //移动版链接
$qinfo['pcurl'] = self::$askPcUrl.$qinfo['id'].'-p1.html'; //pc版链接
$xml.=$this->askMapMobileUrl($qinfo); //移动版
$xml.=$this->askMapPcUrl($qinfo);     //pc版
}
$maxid = end($list);
$indexArr['maxid'] = $maxid['id'];
//更新索引文件
if($bs==0){
//更新最后一行
$txt = file($index);
$txt[count($txt)-1] = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$indexArr['maxXml']."\r\n";
$str = join($txt);
if (is_writable($index)) {
if (!$handle = fopen($index, 'w')) {
echo "不能打开文件 $index";exit;
exit;
}
if (fwrite($handle, $str) === FALSE) {
echo "不能写入到文件 $index";exit;
exit;
}
echo "成功地写入文件$index";
fclose($handle);
} else {
echo "文件 $index 不可写";exit;
}
fclose($index);
}elseif($bs==1){
//新加入一行
$fp = fopen($index,'a');
$num = count($list);
$string = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$num."\r\n";
if(fwrite($fp,$string)===false){
echo "追加新行失败。。。";exit;
}else{
echo "追加成功<br />";
//更新sitemap索引文件
$xmlData="<?xml version=\"1.0\"  encoding=\"UTF-8\" ?>".chr(10);
$xmlData.="<sitemapindex>".chr(10);
$xmlData.="</sitemapindex>";
if(!file_exists($askXml))
file_put_contents($askXml,$xmlData);
$fileList = file($askXml);
$fileCount = count($fileList);
$setmapxml = "http://www.xxx.cn/ask/setmapxml/{$filename}.xml";//正常问题链接
$txt = $this->setMapIndex($setmapxml);
$fileList[$fileCount-1]=$txt."</sitemapindex>";
$newContent = '';
foreach($fileList as $v){
$newContent.= $v;
}
if(!file_put_contents($askXml,$newContent)) exit('无法写入数据');
echo '已经写入文档' . $askXml;
}
fclose($fp);
}
$filename =  APP_PATH.'setmapxml/'.$filename.'.xml';
                //更新到xml文件中,增加结尾
                if(!file_exists($filename))
                        file_put_contents($filename,$start);
                $xmlList = file($filename);
                $xmlCount = count($fileList);
                $xmlList[$xmlCount-1]=$xml."</urlset>";
                $newXml = '';
foreach($xmlList as $v){
$newXml.= $v;
}
if(!file_put_contents($filename, $newXml))exit("写入数据错误");
                else
                    echo "写入数据成功<br />";
}
//问答移动版xml
private function askMapMobileUrl($data){
$xml = '';
if(is_array($data)&&!empty($data)){
$xml .="<url>".chr(10);
if($data['id'])
$xml.='<loc>'.$data['mobielurl'].'</loc>'.chr(10);//移动版链接
$xml.="<mobile:mobile type=\"mobile\"/>".chr(10);
if($data['lastmod'])
$xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10);
$xml.='<changefreq>daily</changefreq>'.chr(10);
$xml.='<priority>0.8</priority>'.chr(10);  
$xml.="</url>".chr(10);
return $xml;
}
}
//问答pc版xml
private function askMapPcUrl($data){
$xml = '';
if(is_array($data)&&!empty($data)){
$xml.='<url>'.chr(10);
if($data['id'])
$xml.='<loc>'.$data['pcurl'].'</loc>'.chr(10);//pc版链接
if($data['lastmod'])
$xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10);
$xml.='<changefreq>daily</changefreq>'.chr(10);
$xml.='<priority>0.8</priority>'.chr(10);
$xml.='</url>'.chr(10);
return $xml;
}
}
//setmaps索引文件
private function setMapIndex($filename){
$xml = '';
$xml.="<sitemap>".chr(10);
$xml.="<loc>{$filename}</loc>".chr(10);
$xml.="<lastmod>".date("Y-m-d",time())."</lastmod>".chr(10);
$xml.="</sitemap>".chr(10);
return $xml;
}
}
?>

xml索引文件格式如下:

代码如下:

<?xml version="1.0"  encoding="UTF-8" ?>
<sitemapindex>
<sitemap>
<loc>http://www.xxx.cn/ask/setmapxml/0.xml</loc>
<lastmod>2014-05-12</lastmod>
</sitemap>
<sitemap>
<loc>http://www.xxx.cn/ask/setmapxml/1.xml</loc>
<lastmod>2014-05-12</lastmod>
</sitemap>
</sitemapindex>

xml文件格式(每个文件需要存储5000条、现展示1条例子)

代码如下:

<?xml version="1.0" encoding="UTF-8" ?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/">
<url>
<loc>http://m.xxx.cn/ask/7460.html</loc>
<mobile:mobile type="mobile"/>
<lastmod>2013-01-11</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
</urlset>

至于sql代码主要就是一个select语句,这里就不贴出来了。

希望本文所述对大家的php程序设计有所帮助。

(0)

相关推荐

  • 用php实现让页面只能被百度gogole蜘蛛访问的方法

    普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent,看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问,编写函数如下: 复制代码 代码如下: function isAllowAccess($directForbidden = FALSE) { $allowed = array('/baiduspider/i', '/googlebot/i'); $user

  • php使用百度天气接口示例

    注意地区要转码的百度ak申请地址:http://lbsyun.baidu.com/apiconsole/key 复制代码 代码如下: <?php $city="嘉兴";$content = file_get_contents("http://api.map.baidu.com/telematics/v3/weather?location=%E5%98%89%E5%85%B4&output=json&ak=5slgyqGDENN7Sy7pw29IUvrZ&

  • php使用百度翻译api示例分享

    百度翻译API的PHP代码,测试可以实现,不过英译中可能需要转换编码. 复制代码 代码如下: <?phpfunction language($value,$from="auto",$to="auto"){  $value_code=urlencode($value);  #首先对要翻译的文字进行 urlencode 处理  $appid="YourApiKey";  #您注册的API Key  $languageurl = "ht

  • phpsir 开发 一个检测百度关键字网站排名的python 程序

    源码如下 :保存成utf-8 bd.py 文件 复制代码 代码如下: #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import urllib ,urllib2 import re def baidu(w): url= "http://www.baidu.com/s?" values = { "w":w.encode('gbk','ignore') } data = urllib.urlencode

  • 用php实现百度网盘图片直链的代码分享

    第一种代码:代码量较少通过正则表达式获取百度网盘的文件真实地址,来实现直链的效果 将下面的代码保存为downbd.php 复制代码 代码如下: <?php $canshu=$_SERVER["QUERY_STRING"]; if($canshu=="") { die("文件不存在"); } else { $wangzhi="http://pan.baidu.com/share/link?".$canshu; $file=

  • PHP获取搜索引擎关键字来源的函数(支持百度和谷歌等搜索引擎)

    最近遇到一个项目,客户需要一个功能,一个商品销售下单需要知道用户下单是从哪个途径来的,认为客服软件(53客服)和站长统计只能满足工作时间,及晚上下班和周六日休息,客服不在线,用户下单会不知道该订单的具体来源,所以嘛,又只能通过网站功能来增加一字段,获取来源关键字,如何获取来源关键字,代码发在下面,里面包含(百度.谷歌.雅虎.搜狗.搜搜.必应.有道)几大搜索引擎的获取方法,代码中均注明,希望对你有帮助,分享一下 代码如下: 复制代码 代码如下: <?php //获取来自搜索引擎入站时的关键词 fu

  • php+ajax做仿百度搜索下拉自动提示框(有实例)

    php+mysql+ajax实现百度搜索下拉提示框 主要有3个文件三个文件在同一个目录里 如下图 下面是三个文件的代码 把sql文件导入到mysql数据库里 修改下数据库密码为自己的 记得哦是UTF-8编码 php+mysql+ajax实现百度搜索下拉提示框 效果图 rpc.php文件 复制代码 代码如下: <?php mysql_connect('localhost', 'root' ,''); mysql_select_db("test"); $queryString = $

  • php获取从百度搜索进入网站的关键词的详细代码

    分享一个php获取从百度搜索进入网站的关键词的代码,有需要的朋友可以参考一下: 代码: 复制代码 代码如下: <?php function search_word_from() { $referer = isset($_SERVER['HTTP_REFERER'])?$_SERVER['HTTP_REFERER']:''; if(strstr( $referer, 'baidu.com')){ //百度 preg_match( "|baidu.+wo?r?d=([^\\&]*)|i

  • php实现批量下载百度云盘文件例子分享

    百度开放云PhpSDK下载地址:http://developer.baidu.com/wiki/index.php?title=%E5%B8%AE%E5%8A%A9%E6%96%87%E6%A1%A3%E9%A6%96%E9%A1%B5/web%E5%BA%94%E7%94%A8%E6%8E%A5%E5%85%A5/SDK 实例代码: 复制代码 代码如下: <?php/** * Author: hankcs * Date  : 14-3-29 * Time  : 下午10:29 */ini_se

  • php实现计算百度地图坐标之间距离的方法

    本文实例讲述了php实现计算百度地图坐标之间距离的方法.分享给大家供大家参考,具体如下: 下面是网上的代码,使用的时候需要进行些许修改 第一个函数是获得范围,参数为纬度经度半径 第二个函数是计算坐标距离 <?php define('PI',3.1415926535898); define('EARTH_RADIUS',6378.137); //计算范围,可以做搜索用户 function GetRange($lat,$lon,$raidus){ //计算纬度 $degree = (24901 *

  • PHP计算百度地图两个GPS坐标之间距离的方法

    本文实例讲述了PHP计算百度地图两个GPS坐标之间距离的方法.分享给大家供大家参考. 具体实现方法如下: 复制代码 代码如下: /**  * 计算两个坐标之间的距离(米)  * @param float $fP1Lat 起点(纬度)  * @param float $fP1Lon 起点(经度)  * @param float $fP2Lat 终点(纬度)  * @param float $fP2Lon 终点(经度)  * @return int  */ function distanceBetw

  • php+js实现百度地图多点标注的方法

    本文实例讲述了php+js实现百度地图多点标注的方法.分享给大家供大家参考,具体如下: 1.php创建json数据 $products = $this->product_db->select($where); $products_json = json_encode($products); 2.js传入json数据 类似于这样的结构 var markerArr = [{ title: "名称:广州火车站", point: "113.264531,23.157003

随机推荐