python 利用jieba.analyse进行 关键词提取
1、简单应用
代码如下:
#!/usr/bin/env python # -*- coding: utf-8 -*- # @File : jieba.analyse.py # @Author: 赵路仓 # @Date : 2020/3/14 # @Desc : 提取关键字 # @Contact : 398333404@qq.com import jieba.analyse text='安全、防止水合物和段塞生成的重要措施之一。因此,针对未来还上油田开发技术,我们预先开展了水深1500米管道式油气水分离器的概念设计。通过该研究,提出适合海洋环境的体积小、重量轻、分离效率高、便于操作和维护的新型油气水三相分离器,使其成为海洋深水油气田开' Key=jieba.analyse.extract_tags(text,topK=3) print(Key)
2、含参使用
keywords = jieba.analyse.extract_tags(content, topK=5, withWeight=True, allowPOS=())
- 第一个参数:待提取关键词的文本
- 第二个参数:返回关键词的数量,重要性从高到低排序
- 第三个参数:是否同时返回每个关键词的权重
- 第四个参数:词性过滤,为空表示不过滤,若提供则仅返回符合词性要求的关键词
代码如下:
#!/usr/bin/env python # -*- coding: utf-8 -*- # @File : jieba.analyse.py # @Author: 赵路仓 # @Date : 2020/3/14 # @Desc : 提取关键字 # @Contact : 398333404@qq.com import jieba.analyse # 字符串前面加u表示使用unicode编码 content = u'安全、防止水合物和段塞生成的重要措施之一。因此,针对未来还上油田开发技术,我们预先开展了水深1500米管道式油气水分离器的概念设计。通过该研究,提出适合海洋环境的体积小、重量轻、分离效率高、便于操作和维护的新型油气水三相分离器,使其成为海洋深水油气田开' keywords = jieba.analyse.extract_tags(content, topK=5, withWeight=True, allowPOS=()) # 访问提取结果 for item in keywords: # 分别为关键词和相应的权重 print(item[0], item[1])
以上就是python 利用jieba.analyse进行 关键词提取的详细内容,更多关于python 关键词提取的资料请关注我们其它相关文章!
相关推荐
-
python多进程提取处理大量文本的关键词方法
经常需要通过python代码来提取文本的关键词,用于文本分析.而实际应用中文本量又是大量的数据,如果使用单进程的话,效率会比较低,因此可以考虑使用多进程. python的多进程只需要使用multiprocessing的模块就行,如果使用大量的进程就可以使用multiprocessing的进程池--Pool,然后不同进程处理时使用apply_async函数进行异步处理即可. 实验测试语料:message.txt中存放的581行文本,一共7M的数据,每行提取100个关键词. 代码如下: #codin
-
python提取内容关键词的方法
本文实例讲述了python提取内容关键词的方法.分享给大家供大家参考.具体分析如下: 一个非常高效的提取内容关键词的python代码,这段代码只能用于英文文章内容,中文因为要分词,这段代码就无能为力了,不过要加上分词功能,效果和英文是一样的. 复制代码 代码如下: # coding=UTF-8 import nltk from nltk.corpus import brown # This is a fast and simple noun phrase extractor (based on
-
python TF-IDF算法实现文本关键词提取
TF(Term Frequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词.所以我们需要一个重要性调整系数来衡量一个词是不是常见词.该权重为IDF(Inverse Document Frequency)逆文档频率,它的大小与一个词的常见程度成反比.在我们得到词频(TF)和逆文档频率(IDF)以后,将两个值相乘,即可得到一个词的TF-IDF值,某个词对文章的重要性越高,其TF-IDF值就越大,所以排在最前面的几个词就
-
python实现关键词提取的示例讲解
新人小菜鸟又来写博客啦!!!没人表示不开心~~(>_<)~~ 今天我来弄一个简单的关键词提取的代码 文章内容关键词的提取分为三大步: (1) 分词 (2) 去停用词 (3) 关键词提取 分词方法有很多,我这里就选择常用的结巴jieba分词:去停用词,我用了一个停用词表. 具体代码如下: import jieba import jieba.analyse #第一步:分词,这里使用结巴分词全模式 text = '''新闻,也叫消息,是指报纸.电台.电视台.互联网经常使用的记录社会.传播信息.反映时
-
python实现textrank关键词提取
用python写了一个简单版本的textrank,实现提取关键词的功能. import numpy as np import jieba import jieba.posseg as pseg class TextRank(object): def __init__(self, sentence, window, alpha, iternum): self.sentence = sentence self.window = window self.alpha = alpha self.edge_
-
python 利用jieba.analyse进行 关键词提取
1.简单应用 代码如下: #!/usr/bin/env python # -*- coding: utf-8 -*- # @File : jieba.analyse.py # @Author: 赵路仓 # @Date : 2020/3/14 # @Desc : 提取关键字 # @Contact : 398333404@qq.com import jieba.analyse text='安全.防止水合物和段塞生成的重要措施之一.因此,针对未来还上油田开发技术,我们预先开展了水深1500米管道式油气
-
python 利用百度API进行淘宝评论关键词提取
利用百度API自然语言处理技术中的评论观点抽取方面,对淘宝购物的评论进行分析,把关键词进行提取,方便买家快速了解该商品的相关特点,具体实现过程如下: 1.创建相关新应用 首先,需要登录百度AI平台,创建一个关于自然语言处理技术的应用(领取免费额度),获得AppID.API Key和Secret Key如下: 然后下载Python的SDK,然后可以通过阅读API的使用手册和自然语言处理技术的观点抽取相关案例: 2.获取Access Token 使用百度API时需要先获取Access Token,并
-
python 利用正则表达式提取特殊信息
1.删除字符串中的 Python注释 案例: import re time = "2020-01-01 # 这是一个日期" num = re.sub(r'#.*$', "", time)#以#为分隔,去掉后面的信息 print("这个时间是:", num) 结果: 这个时间是: 2020-01-01 2.截取某符号前后的内容 案例1: txt = '我的电话是:131-246-XXX19' a = txt.split(':')[0]#0表示符号前
-
python利用Appium实现自动控制移动设备并提取数据功能
目录 1. 安装appium-python-client模块并启动已安装好的环境 1.1 安装appium-python-client模块 1.2 启动夜神模拟器 1.3 启动appium-desktop 1.4 利用上一小节所学习的内容获取Desired Capabilities参数 2. 初始化以及获取移动设备分辨率 3. 定位元素以及提取文本的方法 3.1 点击appium desktop右上角的放大镜图标 3.2 定位界面的使用方法如下图所示 3.3 点击短视频的作者名字,查看并获取该元
-
Python利用正则表达式从字符串提取数字
目录 前言 利用正则表达式从字符串提取数字 附python正则表达式抽取文本中的时间日期 总结 前言 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配. Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式. re 模块使 Python 语言拥有全部的正则表达式功能. 利用正则表达式从字符串提取数字 主要用到下面几个函数 (1)compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象.该对象拥有一系列方法用于正则
-
Python利用卡方Chi特征检验实现提取关键文本特征
目录 理论 代码 题外话 理论 类别classi 非类别classi 包含单词wordj的文档数 A B 不包含单词wordj的文档数 C D 卡方特征提取主要度量类别classi和单词wordj之间的依赖关系.计算公式如下 其中N是文档总数,A是包含单词wordj且属于classi的文档数,B是包含单词wordj但不属classi的文档数,C是不包含单词wordj但属于classi的文档数,D是不包含单词wordj且不属于classi的文档数.值得注意的是 最终单词wordj的CHI值计算公式
-
Python利用FlashText算法实现替换字符串
目录 前言 1.准备 2.基本使用 提取关键词 替换关键词 关键词大小写敏感 标记关键词位置 获取目前所有的关键词 批量添加关键词 单一或批量删除关键词 3.高级使用 支持额外信息 支持特殊单词边界 4.结尾 前言 FlashText 算法是由 Vikash Singh 于2017年发表的大规模关键词替换算法,这个算法的时间复杂度仅由文本长度(N)决定,算法时间复杂度为O(N). 而对于正则表达式的替换,算法时间复杂度还需要考虑被替换的关键词数量(M),因此时间复杂度为O(MxN). 简而言之,
-
Python基于jieba分词实现snownlp情感分析
情感分析(sentiment analysis)是2018年公布的计算机科学技术名词. 它可以根据文本内容判断出所代表的含义是积极的还是负面的,也可以用来分析文本中的意思是褒义还是贬义. 一般应用场景就是能用来做电商的大量评论数据的分析,比如好评率或者差评率的统计等等. 我们这里使用到的情感分析的模块是snownlp,为了提高情感分析的准确度选择加入了jieba模块的分词处理. 由于以上的两个python模块都是非标准库,因此我们可以使用pip的方式进行安装. pip install jieba
随机推荐
- golang中defer的使用规则详解
- PHP实现多关键字加亮功能
- 从性能方面考虑PHP下载远程文件的3种方法
- vue 2.0项目中如何引入element-ui详解
- JavaScript DOM 对象深入了解
- Jquery动态添加及删除页面节点元素示例代码
- 最常用的12种设计模式小结
- 关于多线程常用方法以及对锁的控制(详解)
- JQuery中判断一个元素下面是否有内容或者有某个标签的判断代码
- Boostrap基础教程之JavaScript插件篇
- 基于javascript实现的搜索时自动提示功能
- JavaScript计算某一天是星期几的方法
- 晓宇听幽网站内容管理系统 V2.0
- CentOS 6.5中SSH免密码登录配置教程
- IIS打开提示MMC无法创建管理单元的解决方法
- Java利用Request请求如何获取IP地址对应的省份、城市详解
- Android中创建对话框(确定取消对话框、单选对话框、多选对话框)实例代码
- Java编程之内置观察者模式实例详解
- Fabric 应用案例
- PHP下的浮点运算不准的解决方法