基于python实现检索标记敏感词并输出
一些带有过度宣传的词,在淘宝、京东对商品的宣传有一定的限制,这些最佳,最大、盗版、水货等词语都不能用于产品的宣传,可以使用程序检测敏感词,以下既是具体代码。
#检索敏感词并描红输出 #输入 word = input("请输入或拷贝含有敏感词的宣传文字:") #敏感词库 sensitive = ['第一','国家级','最高级','最佳','独一无二','一流','仅此一次','顶级',\ '顶尖','尖端','极品','极佳','绝佳','绝对','终极','极致','首个','首选',\ '独家','首发','首次'] #在输入语句中发现的敏感词,放在列表中 sensitive_find = [] #newword用于标红敏感词,word用于循环 newword = word #遍历敏感词库 for item in sensitive: #将至少出现一次的敏感词放到sensitive_find中,然后标红 if word.count(item)>0: sensitive_find.append(item+':'+str(word.count(item))+'次') #newword存放标红后的整段话,word则不变 newword = newword.replace(item,' \033[1;31m'+item+'\033[0m') print('发现敏感词如下:') for item in sensitive_find: print(item) print('敏感词位置已用星号进行标注:\n'+newword)
结果(ps结果中有标红的部分,这里未显示,下面用部分截图说明一下):
请输入或拷贝含有敏感词的宣传文字:天猫首发,耀世登场,世界品质,庆伟制造。本产品目前是同类产品中最高级的。2018年全网销售量第一,瑶瑶领先同类产品。国内外顶级大师鼎力支持,是您居家生活的唯一选择。
发现敏感词如下:
第一:1次
最高级:1次
顶级:1次
首发:1次
敏感词位置已用星号进行标注:
天猫 首发,耀世登场,世界品质,庆伟制造。本产品目前是同类产品中 最高级的。2018年全网销售量 第一,瑶瑶领先同类产品。国内外 顶级大师鼎力支持,是您居家生活的唯一选择。
有标红部分的截图
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。
相关推荐
-
Python编写合并字典并实现敏感目录的小脚本
0x00 起因 接触网安快一年了,爱收集一些字典啊敏感目录文件啊什么的.收集多了难免有重复,并且有的也需要合并使用方便.自己就写了一个小小的脚步用来完成这个目的. 0x01 代码 第一次发表文章,希望大家多提意见.抱拳了! 代码我就贴出来了 import osimport time import argparse import optparse def Time(n,p): pat_time = p-n minute = pat_time/60 hour = minute/60 print(in
-
python用类实现文章敏感词的过滤方法示例
过滤一遍并将敏感词替换之后剩余字符串中新组成了敏感词语,这种情况就要用递归来解决,直到过滤替换之后的结果和过滤之前一样时才算结束 第一步:建立一个敏感词库(.txt文本) 第二步:编写代码在文章中过滤敏感词(递归实现) # -*- coding: utf-8 -*- # author 代序春秋 import os import chardet # 获取文件目录和绝对路径 curr_dir = os.path.dirname(os.path.abspath(__file__)) # os.path
-
利用Python正则表达式过滤敏感词的方法
问题描述:很多网站会对用户发帖内容进行一定的检查,并自动把敏感词修改为特定的字符. 技术要点: 1)Python正则表达式模块re的sub()函数: 2)在正则表达式语法中,竖线"|"表示二选一或多选一. 参考代码: 以上这篇利用Python正则表达式过滤敏感词的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.
-
python 实现敏感词过滤的方法
如下所示: #!/usr/bin/python2.6 # -*- coding: utf-8 -*- import time class Node(object): def __init__(self): self.children = None # The encode of word is UTF-8 def add_word(root,word): node = root for i in range(len(word)): if node.children == None: node.c
-
Python 实现王者荣耀中的敏感词过滤示例
王者荣耀的火爆就不用说了,但是一局中总会有那么几个挂机的,总能看到有些人在骂人,我们发现,当你输入一些常见的辱骂性词汇时,系统会自动将该词变成"*",作为python初学者,就想用python来实现这一功能. 步骤很简单所以就用交互式演示 首先我们要知道王者荣耀有哪些敏感词汇,然后放到一个元组, 第二步用户接收输入的消息 第三步处理敏感词汇 最后输出处理后的消息. >>> words=('金币', '挂', '傻逼', '猪', '你妈') #创建一个敏感词汇库 &g
-
python实现对服务器脚本敏感信息的加密解密功能
背景 在实际项目实施中,会编写很多在服务器执行的作业脚本.程序中凡是涉及到数据库链接.操作系统用户链接.IP地址.主机名称的内容都是敏感信息.在纯内网系统中往因为开发时间紧迫,往往都直接将这些敏感信息明文方式写在脚本中了. 稍微规范一点的,创建一个通用的config文件,将所有这类敏感信息记录在这个文件中,脚本以读取文件方式获取这些信息.这种方式的好处是脚本不用在应用迁移.灾备部署的时候再起不同的版本,尤其是大数据平台作业运行的脚本,如果是需要做灾备集群,这种方式可以减少生产变更时的人工干预操作
-
浅谈Python 敏感词过滤的实现
一个简单的实现 class NaiveFilter(): '''Filter Messages from keywords very simple filter implementation >>> f = NaiveFilter() >>> f.add("sexy") >>> f.filter("hello sexy baby") hello **** baby ''' def __init__(self):
-
基于python实现检索标记敏感词并输出
一些带有过度宣传的词,在淘宝.京东对商品的宣传有一定的限制,这些最佳,最大.盗版.水货等词语都不能用于产品的宣传,可以使用程序检测敏感词,以下既是具体代码. #检索敏感词并描红输出 #输入 word = input("请输入或拷贝含有敏感词的宣传文字:") #敏感词库 sensitive = ['第一','国家级','最高级','最佳','独一无二','一流','仅此一次','顶级',\ '顶尖','尖端','极品','极佳','绝佳','绝对','终极','极致','首个','首选'
-
Python基于DFA算法实现内容敏感词过滤
DFA 算法是通过提前构造出一个 树状查找结构,之后根据输入在该树状结构中就可以进行非常高效的查找. 设我们有一个敏感词库,词酷中的词汇为: 我爱你 我爱他 我爱她 我爱你呀 我爱他呀 我爱她呀 我爱她啊 那么就可以构造出这样的树状结构: 设玩家输入的字符串为:白菊我爱你呀哈哈哈 我们遍历玩家输入的字符串 str,并设指针 i 指向树状结构的根节点,即最左边的空白节点: str[0] = ‘白’ 时,此时 tree[i] 没有指向值为 ‘白’ 的节点,所以不满足匹配条件,继续往下遍历 str[1
-
SpringBoot使用前缀树过滤敏感词的方法实例
目录 一.前缀树 二.敏感词过滤器 总结 一.前缀树 一般设计网站的时候,会有问题发布或者是内容发布的功能,这些功能的有一个很重要的点在于如何实现敏感词过滤,要不然可能会有不良信息的发布,或者发布的内容中有夹杂可能会有恶意功能的代码片段,敏感词过滤的基本的算法是前缀树算法,前缀树也就是字典树,通过前缀树匹配可以加快敏感词匹配的速度. 前缀树又称为Trie.字典树.查找树.主要特点是:查找效率高,但内存消耗大:主要应用于字符串检索.词频统计.字符串排序等. 到底什么是前缀树?前缀树的功能是如何实现
-
Python实现敏感词过滤的4种方法
在我们生活中的一些场合经常会有一些不该出现的敏感词,我们通常会使用*去屏蔽它,例如:尼玛 -> **,一些骂人的敏感词和一些政治敏感词都不应该出现在一些公共场合中,这个时候我们就需要一定的手段去屏蔽这些敏感词.下面我来介绍一些简单版本的敏感词屏蔽的方法. (我已经尽量把脏话做成图片的形式了,要不然文章发不出去) 方法一:replace过滤 replace就是最简单的字符串替换,当一串字符串中有可能会出现的敏感词时,我们直接使用相应的replace方法用*替换出敏感词即可. 缺点: 文本和敏感词少
-
基于python + django + whoosh + jieba 分词器实现站内检索功能
基于 python django 源码 前期准备 安装库: pip install django-haystack pip install whoosh pip install jieba 如果pip 安装超时,可配置pip国内源下载,如下: pip install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com <安装的库> pip install -i http://mirrors.al
-
基于PyQT5制作一个敏感词检测工具
设计思路:根据敏感词库文件筛选,查看输入的文本中是否包含敏感词汇.从而过滤出相关的敏感词. 导入应用相关的模块. import os import logging import sys 导入UI界面相关的模块. from PyQt5.QtWidgets import QApplication,QWidget,QVBoxLayout,QTextEdit,QGridLayout,QLineEdit,QPushButton,QFileDialog from PyQt5.QtGui import QIc
-
基于Python词云分析政府工作报告关键词
前言 十三届全国人大三次会议作了政府工作报告.这份政府工作报告仅有10500字左右,据悉是改革开放40年以来最短的一次.受到疫情影响,今年的两会会议适当缩短,政府工作报告也大幅压缩,体现了"实干为要"的理念.那么,这份政府工作报告突出强调了哪些关键词呢?我们其实可以基于Python技术进行词频分析和词云制作! import matplotlib.pyplot as plt#绘图库 import jieba from wordcloud import WordCloud # 读入文本数据
随机推荐
- DOS批处理高级教程 第三章 FOR命令中的变量
- IE8下jQuery改变png图片透明度时出现的黑边
- Bootstrap3制作搜索框样式的方法
- Windows Server 2003下配置IIS6.0+php5+MySql5+PHPMyAdmin环境的图文教程
- Nginx服务器安装及配置文件与使用详解
- 在ASP.NET中使用Session常见问题集锦
- java开发微信公众号支付
- PHP调用Mailgun发送邮件的方法
- c++回调之利用函数指针示例
- python处理圆角图片、圆形图片的例子
- Java事件处理机制(自定义事件)实例详解
- jQuery基础知识filter()和find()实例说明
- jQuery validata插件实现方法
- 推荐大家看下GGAD会议归来话总结
- LNMP系列教程之 SSL安装WordPress博客(程序下载与安装)
- Map获取键值,Map的几种遍历方法总结(推荐)
- 详解如何使用Android Studio开发Gradle插件
- 详解使用Spring Boot的AOP处理自定义注解
- ThinkPHP实现微信支付(jsapi支付)流程教程详解
- Android编程处理窗口控件大小,形状,像素等UI元素工具类