如何禁止网站内容被搜索引擎收录的几种方法讲解

通常做网站的目标就是让搜索引擎收录，扩大推广面，但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话，该如何操作呢？比如淘宝网就是禁止搜索引擎收录的一个例子，本文将教你几种做法来实现屏蔽或禁止搜索引擎收录抓取网站的内容。

搜索引擎蜘蛛不断爬行互联网，如果我们网站没有做出禁止搜索引擎收录的操作，很容易就会被搜索引擎收录。那么下面介绍一下怎么样禁止搜索引擎收录网站内容。

第一种、robots.txt方法

搜索引擎默认的遵守robots.txt协议(不排除某些耍流氓的引擎)，创建robots.txt文本文件放至网站根目录下，编辑代码如下:

User-agent: *
Disallow: /

通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。

如果只禁止百度搜索引擎收录抓取网页

1、编辑robots.txt文件，设计标记为:

User-agent: Baiduspider
Disallow: /

以上robots文件将实现禁止所有来自百度的抓取。

这里说一下百度的user-agent，Baiduspider的user-agent是什么？

百度各个产品使用不同的user-agent：

  • 产品名称 对应user-agent
  • 无线搜索 Baiduspider
  • 图片搜索 Baiduspider-image
  • 视频搜索 Baiduspider-video
  • 新闻搜索 Baiduspider-news
  • 百度搜藏 Baiduspider-favo
  • 百度联盟 Baiduspider-cpro
  • 商务搜索 Baiduspider-ads
  • 网页以及其他搜索 Baiduspider

你可以根据各产品不同的user-agent设置不同的抓取规则，以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

请注意：Baiduspider-cpro和Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，这个就需要和百度的人联系才能解决了。

如何只禁止Google搜索引擎收录抓取网页，方法如下：

编辑robots.txt文件，设计标记为:

User-agent: googlebot
Disallow: /

第二种、网页代码方法

在网站首页代码<head>与</head>之间，加入<meta name="robots" content="noarchive">代码，此标记禁止搜索引擎抓取网站并显示网页快照。

在网站首页代码<head>与</head>之间，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。

在网站首页代码<head>与</head>之间，加入<meta name="googlebot" content="noarchive">即可禁止谷歌搜索引擎抓取网站并显示网页快照。

另外当我们的需求很怪异的时候，比如下面这几种情况:

1. 网站已经加了robots.txt，还能在百度搜索出来？

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过投诉平台反馈请求处理。

2. 希望网站内容被百度索引但不被保存快照，我该怎么做？

Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

3. 希望被百度索引，但是不保存网站快照，如下代码解决：

<meta name="Baiduspider" content="noarchive">

4. 如果要禁止所有的搜索引擎保存你网页的快照，那么代码就是下面的：

<meta name="robots" content="noarchive">

下面列出一些常用的代码组合：

  • <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接
  • <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接
  • <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
  • <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

赞 (0)

相关推荐

  • Python 通过requests实现腾讯新闻抓取爬虫的方法

    最近也是学习了一些爬虫方面的知识.以我自己的理解,通常我们用浏览器查看网页时,是通过浏览器向服务器发送请求,然后服务器响应以后返回一些代码数据,再经过浏览器解析后呈现出来.而爬虫则是通过程序向服务器发送请求,并且将服务器返回的信息,通过一些处理后,就能得到我们想要的数据了. 以下是前段时间我用python写的一个爬取TX新闻标题及其网址的一个简单爬虫: 首先需要用到python中requests(方便全面的http请求库)和 BeautifulSoup(html解析库). 通过pip来安装这两个

  • Python3爬虫之自动查询天气并实现语音播报

    一.写在前面 之前写过一篇用Python发送天气预报邮件的博客,但是因为要手动输入城市名称,还要打开邮箱才能知道天气情况,这也太麻烦了.于是乎,有了这一篇博客,这次我要做的就是用Python获取本机IP地址,并根据这个IP地址获取物理位置也就是我所在的城市名称,然后用之前的办法实现查询天气,再利用百度语音得到天气预报的MP3文件,最后播放,这样是不是就很方(tou)便(lan)了呢? 二.具体步骤 这次有四个py文件:get_ip.py,get_wather.py,get_mp3.py和main

  • Python爬虫beautifulsoup4常用的解析方法总结

    摘要 如何用beautifulsoup4解析各种情况的网页 beautifulsoup4的使用 关于beautifulsoup4,官网已经讲的很详细了,我这里就把一些常用的解析方法做个总结,方便查阅. 装载html文档 使用beautifulsoup的第一步是把html文档装载到beautifulsoup中,使其形成一个beautifulsoup对象. import requests from bs4 import BeautifulSoup url = "http://new.qq.com/o

  • 浅谈Scrapy网络爬虫框架的工作原理和数据采集

    浅谈Scrapy网络爬虫框架的工作原理和数据采集

    今天小编给大家详细的讲解一下Scrapy爬虫框架,希望对大家的学习有帮助. 1.Scrapy爬虫框架 Scrapy是一个使用Python编程语言编写的爬虫框架,任何人都可以根据自己的需求进行修改,并且使用起来非常的方便.它可以应用在数据采集.数据挖掘.网络异常用户检测.存储数据等方面. Scrapy使用了Twisted异步网络库来处理网络通讯.整体架构大致如下图所示. 2.由上图可知Scrapy爬虫框架主要由5个部分组成,分别是:Scrapy Engine(Scrapy引擎),Scheduler

  • 用Electron写个带界面的nodejs爬虫的实现方法

    什么是Electron 使用 JavaScript, HTML 和 CSS 构建跨平台的桌面应用 [官网](https://electronjs.org/) 实质就是一个精简的Webkit浏览器显示html页面,通过electron做中间层可以和系统交流.给web项目套上一个node环境的壳. 前言 公司买的推广居然没有后台的api,没有api又不想死板手动操作.那就做个爬虫吧.但是又是给小白用的,自然最好带个界面,本来用C#拖出来就好了,看到vs那么大,下载都要半天.干脆就用Electron做

  • Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法

    每个网站通常都会遇到很多非搜索引擎的爬虫,这些爬虫大部分都是用于内容采集或是初学者所写,它们和搜索引擎的爬虫不一样,没有频率控制,往往会消耗大量服务器资源,导致带宽白白浪费了. 其实Nginx可以非常容易地根据User-Agent过滤请求,我们只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求: location / { if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {

  • 基于node.js实现爬虫的讲解

    1. cheerio 与 request request:模拟客户端行为,对页面进行请求 cheerio:对服务器端返回的页面进行解析: var cheerio = require('cheerio'); var request = require('request'); var startUrl = 'http://www.baidu.com' request(startUrl, function(err, response) { if (err) { console.log(err); }

  • Python常用爬虫代码总结方便查询

    beautifulsoup解析页面 from bs4 import BeautifulSoup soup = BeautifulSoup(htmltxt, "lxml") # 三种装载器 soup = BeautifulSoup("<a></p>", "html.parser") ### 只有起始标签的会自动补全,只有结束标签的会自动忽略 ### 结果为:<a></a> soup = Beautif

  • 通过python爬虫赚钱的方法

    (1)在校大学生.最好是数学或计算机相关专业,编程能力还可以的话,稍微看一下爬虫知识,主要涉及一门语言的爬虫库.html解析.内容存储等,复杂的还需要了解URL排重.模拟登录.验证码识别.多线程.代理.移动端抓取等.由于在校学生的工程经验比较少,建议找一些少量数据抓取的项目,而不要去接一些监控类的项目.或大规模抓取的项目.慢慢来,步子不要迈太大. (2)在职人员.如果你本身就是爬虫工程师,挣钱很简单.如果你不是,也不要紧.只要是做IT的,稍微学习一下爬虫应该不难.在职人员的优势是熟悉项目开发流程

  • Python爬虫之UserAgent的使用实例

    问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用. 安装 pip install fake-useragent 使用案例 基本使用 from fake_useragent import UserAgent ua = UserAgent() ua.ie # Mozilla/5.0 (Windows; U; M

随机推荐