Apache使用.htaccess 屏蔽恶意 User Agent(防蜘蛛)

一、登记在册的恶意 User Agent
1、”Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

下面是网站日志中的两条记录，这个 User Agent 会重复访问注册页面，并获取验证码，这是垃圾留言和恶意注册的开始。

代码如下:

116.242.22.10 199.27.128.204 – – [30/Oct/2011:04:02:15 +0800] “GET /checkcode.php HTTP/1.1” 302 286 “http://www.***.com/register.php” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

116.242.22.10 199.27.128.204 – – [30/Oct/2011:04:02:19 +0800] “POST /register.php HTTP/1.1” 302 286 “http://www.***.com/register.php” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

2、”Mozilla/5.0 QunarBot/1.0″

这是一个无视 robots.txt 的蜘蛛，怀疑与“去哪儿”有关。

3、”Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)”

代码如下:

61.147.91.201 173.245.48.60 – – [30/Oct/2011:06:00:28 +0800] “GET /mp3/%A5%D6%A5%EB%A9%60%A5%D0%A9%60%A5%C9.mp3 HTTP/1.1” 302 286 “-” “Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)”

看到没？Windows 98！总是抓取网站目录下的mp3文件，都是原来上传过mp3文件到网站的错。

4、”Mozilla/4.0″

代码如下:

58.255.120.95 199.27.128.216 – – [30/Oct/2011:06:01:26 +0800] “GET /ikmedata/cache/fuck.php HTTP/1.1” 404 1479 “-” “Mozilla/4.0”
58.255.120.95 199.27.128.216 – – [30/Oct/2011:06:01:27 +0800] “GET /data/cache/fuck.php HTTP/1.1” 404 1479 “-” “Mozilla/4.0”
58.255.120.95 199.27.128.216 – – [30/Oct/2011:06:01:27 +0800] “GET /data/cache/fuck.php HTTP/1.1” 404 1479 “-” “Mozilla/4.0”

又一个坑爹的，无尽无穷的扫描，非常恶心。

二、屏蔽恶意 User Agent
使用 .htaccess 屏蔽 User Agent 的方法很多，这里使用 rewrite 规则把这些 User Agent 转移走，以达到屏蔽的效果。

代码如下:

RewriteCond %{HTTP_USER_AGENT} “.*EmbeddedWB.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “.*QunarBot.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “.*Windows 98.*” [OR]
RewriteCond %{HTTP_USER_AGENT} “^Mozilla/4.0$”
RewriteRule ^(.*)$ http://cao.ni.ma/

使用 .htaccess 需要了解一些正则表达式语法，以正确匹配字符串。

如果你觉得有用，屏蔽恶意 User Agent�0�2前，不妨先分析一下自己的网站日志，根据自己的需要定制。可以使用 Firefox+User Agent Switcher 测试效果，Chrome 也有类似的切换 User�0�2Agent 的扩展程序。

赞 (0)

相关推荐

  • 让Apache 2支持.htaccess并实现目录加密的方法

    让Apache 2支持.htaccess并实现目录加密的方法

    实现需求 最近在使用学校电脑时,经常遇到这么个场景:想下载个CodeBlocks用于coding或想下个vpt来玩会万智,但通过机房网络访问一些国外网站的下载速度只有10+kB/s,不到100m的文件总能让人等很久. 以前通过百度云来解决了这个问题,现在百度云下载这些文件需要使用客户端(大文件?),所以寻思着有没有什么好的解决方案. 突然想起自己在阿里云有个小服务器,在上面挂了个OJ,大多数资源都是闲置的.所以很简单,我就在网站目录下面传了我需要的常用文件上去,走阿里云的带宽下载.但直接放上去的

  • Apache使用 .htaccess 来实现强制https访问的方法

    我们可以用Apache的.htaccess的重定向规则来实现http强制跳转到https访问网站.( 重要提示:必须将代码放到.htaccess文件内容的最前面,以保证重定向优先权.) 代码如下: RewriteEngine On RewriteCond %{SERVER_PORT} 80 RewriteRule ^(.*)$ https://xpsss.com/$1 [R,L] 或者 RewriteEngine On RewriteCond %{SERVER_PORT} 80 RewriteR

  • Apache服务器中使用.htaccess实现伪静态URL的方法

    很多朋友可能是空间也就是虚拟主机,自己就没有权限来管理apache的httpd.conf文件了,自然就不太可能可以在这上面写静态规则了,下面我们可以让主机商开启支持.htaccess方法,这样就可以自己写了. 首先配置服务器启动重写模块 打开 Apache 的配置文件 httpd.conf . 将#LoadModule rewrite_module modules/mod_rewrite前面的#去掉. 保存后重启Apache 写重写规则 举例说明,test.php里的代码为 <?php $id=

  • Ubuntu下开启Apache对.htaccess 的支持

    步骤: 终端运行 复制代码 代码如下: sudo a2enmod 程序提示可供激活的模块名称,输入: 其中rewrite 修改/etc/apache2/sites-enabled/000-default (该链接指向的是站点配置文件) 把(默认的www目录.或者需要应用.htaccess的目录)下的AllowOverride 属性改为All,保存. 重新加载apache 复制代码 代码如下: sudo /etc/init.d/apache2 restart 附xampp的ModRewrite开启

  • 使Nginx服务器支持.htaccess的方法

    可能很多朋友都常用nginx不支持.htaccess,只有apache才支持.htaccess文件,其实这是错误的看法nginx也是支持.hatccess的哦,下面我来给各位总结一下配置方法. 其实nginx和.htaccess一点关系都没有,只是一大堆人深受apache的影响觉得nginx应该也要支持.htaccess功能.在nginx的配置中直接include .htaccess文件就好 include /站点目录/.htaccess; 多么简单,但是更让人哭笑不得的是有大部分人根本就不知道

  • 修改.htaccess实现子目录绑定示例分享

    复制代码 代码如下: <IfModule mod_rewrite.c>RewriteEngine On  RewriteBase /# 把 www.jb51.net改为你要绑定的域名.# 如果是域名:RewriteCond %{HTTP_HOST} ^((www|blog)\.)?jb51\.net$RewriteCond %{HTTP_HOST} ^((www|blog)\.)?127.0.0.1$# 把 www改为要绑定的目录.RewriteCond %{REQUEST_URI} !^/w

  • apache .htaccess文件详解和配置技巧总结

    一..htaccess的基本作用 .htaccess是一个纯文本文件,它里面存放着Apache服务器配置相关的指令.       .htaccess主要的作用有:URL重写.自定义错误页面.MIME类型配置以及访问权限控制等.主要体现在伪静态的应用.图片防盗链.自定义404错误页面.阻止/允许特定IP/IP段.目录浏览与主页.禁止访问指定文件类型.文件密码保护等.       .htaccess的用途范围主要针对当前目录. 二.启用.htaccess的配置启用.htaccess,需要修改http

  • apache中使用.htaccess文件缓存图片的配置方法

    浏览器能够简单读取.htaccess文件的缓存控制头,而缓存头会要求浏览器将图片或其它任何媒体保留2周时间(或者更久),这样浏览器就能够随时调用图片,直到图片过期. 两周后浏览器重新将过期的图片存入缓存. 万一浏览器缓存被清空,浏览器会从缓存中重新加载图片或其它媒体. 1,打开网站所在的根目录的.htaccess文件,如没有,请新建. 2,输入以下代码 复制代码 代码如下: # Image and Flash content Caching for One Month<FilesMatch &quo

  • Apache服务器中.htaccess的基本配置总结

    .htaccess文件(或者"分布式配置文件"提供了针对目录改变配置的方法, 即,在一个特定的文档目录中放置一个包含一个或多个指令的文件, 以作用于此目录及其所有子目录.作为用户,所能使用的命令受到限制.管理员可以通过Apache的AllowOverride指令来设置. - 子目录中的指令会覆盖更高级目录或者主服务器配置文件中的指令. - .htaccess必须以ASCII模式上传,最好将其权限设置为644. 错误文档的定位 常用的客户端请求错误返回代码: 401 Authorizat

  • Apache使用.htaccess 屏蔽恶意 User Agent(防蜘蛛)

    一.登记在册的恶意 User Agent 1."Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)" 下面是网站日志中的两条记录,这个 User Agent 会重复访问注册页面,并获取验证码,这是垃圾留言和恶意注册的开始. 复制代码 代码如下: 116.242.22.10

  • Nginx防盗链根据UA屏蔽恶意User Agent请求(防蜘蛛)

    相对于 Apache,Nginx 占用的系统资源更少,更适合 VPS 使用.恶意盗链的 User Agent 无处不在,博客更换到 WordPress 没几天,就被 SPAM(垃圾留言)盯上,又被暴力破解后台用户名密码.以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent,今天来介绍 Nginx 屏蔽恶意 User Agent请求的方法. 先上规则&注释 #禁用未初始化变量警告 uninitialized_variable_warn off; #匹配各种 bad u

  • apache开启.htaccess及.htaccess的使用方法

    今天本地调试PHP程序,用到了.htaccess,而默认配置里面开启.htaccess,在网上找到了开启.htaccess的可行方法,供朋友们借鉴.(开启的我他的方法不行,查找了一下AllowOverride None全部的都给换成AllowOverride All就了,原因不明,O(∩_∩)O~ 记得修改完httpd.conf以后一定要重启下apache才的哦~ ) 1 . 如何让的本地APACHE器.htaccess 如何让的本地APACHE器".htaccess"呢?其实只要简朴

  • apache使用.htaccess文件实现屏蔽wget下载网站内容

    经发现,虽然wget遵循 robots.txt 规则,但是那个还是可以绕过去,现在把我自己使用的屏蔽方法分享给大家: 1. 屏蔽下载任何文件 .htaccess SetEnvIfNoCase User-Agent "^wget" bad_bot <Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit> 2. 屏蔽下载部分文件 .htaccess SetEnvIf

  • linux利用CSF防火墙屏蔽恶意请求

    问题 最近不知道为什么,恶意代理的请求数越来越多,明明我返回的都是403Forbidden,但是由于数量实在庞大,还是消耗了我大量的带宽和资源.之前的方法已经没有用了,想了半天还是研究研究防火墙吧,虽然仅仅靠Apache也能对某些IP进行黑名单设置,但是感觉还是有点麻烦的.比如最常见的用iptables,或者是ufw,虽然都能很好的做到管理,但是他们基本都需要一条一条的加,十分麻烦. 网上搜索了下,找到了一个挺方便的小工具–CSF(ConfigServer & Security Firewall

  • apache下.htaccess的功能及写法

    - .htaccess 文件(或者"分布式配置文件"提供了针对目录改变配置的方法, 即,在一个特定的文档目录中放置一个包含一个或多个指令的文件, 以作用于此目录及其所有子目录.作为用户,所能使用的命令受到限制.管理员可以通过Apache的AllowOverride指令来设置. - 子目录中的指令会覆盖更高级目录或者主服务器配置文件中的指令. - .htaccess必须以ASCII模式上传,最好将其权限设置为644. 错误文档的定位 常用的客户端请求错误返回代码: 401 Authori

  • 用ISAPI_Rewrite让IIS也支持如Apache下.htaccess的URL重写

    前些日子用Linux做服务器写了一些东西,发现Apache下的.htaccess真是个好东西!不仅能实现URL真重写,还能实现假重写.真重写可以有效降低代码量与服务器资源消耗量,伪重写可以有效减少服务器的静态文件体积,节约了空间,真是不错!其实htaccess的功能远不只如此. 言归正传,那么IIS下能不能也实现htaccess这样激动人心的功能呢?ASP.NET2.0这个东东不是服务器级的,不能胜任重写这个重任,那么只有交给ISAPI了,在网上搜索,还居然真有公司(组织)开发了这种东东!不可思

  • Apache中.htaccess文件功能

    作为用户,所能使用的命令受到限制.管理员可以通过Apache 的AllowOverride指令来设置.子目录中的指令会覆盖更高级目录或者主服务器配置文件中的指令. 一.错误文档的定位 (1)常用的客户端请求错误返回代码: 401 Authorization Required 403 Forbidden 404 Not Found 405 Method Not Allowed 408 Request Timed Out 411 Content Length Required 412 Precond

随机推荐