python jieba分词并统计词频后输出结果到Excel和txt文档方法

2024-10-04 05:01:20

前两天，班上同学写论文，需要将很多篇论文题目按照中文的习惯分词并统计每个词出现的频率。

让我帮她实现这个功能，我在网上查了之后发现jieba这个库还挺不错的。

运行环境：

安装python2.7.13：https://www.python.org/downloads/release/python-2713/
安装jieba：pip install jieba
安装xlwt：pip install xlwt

具体代码如下：

#!/usr/bin/python
# -*- coding:utf-8 -*- 

import sys
reload(sys) 

sys.setdefaultencoding('utf-8') 

import jieba
import jieba.analyse
import xlwt #写入Excel表的库 

if __name__=="__main__": 

 wbk = xlwt.Workbook(encoding = 'ascii')
 sheet = wbk.add_sheet("wordCount")#Excel单元格名字
 word_lst = []
 key_list=[]
 for line in open('1.txt'):#1.txt是需要分词统计的文档 

  item = line.strip('\n\r').split('\t') #制表格切分
  # print item
  tags = jieba.analyse.extract_tags(item[0]) #jieba分词
  for t in tags:
   word_lst.append(t) 

 word_dict= {}
 with open("wordCount.txt",'w') as wf2: #打开文件 

  for item in word_lst:
   if item not in word_dict: #统计数量
    word_dict[item] = 1
   else:
    word_dict[item] += 1 

  orderList=list(word_dict.values())
  orderList.sort(reverse=True)
  # print orderList
  for i in range(len(orderList)):
   for key in word_dict:
    if word_dict[key]==orderList[i]:
     wf2.write(key+' '+str(word_dict[key])+'\n') #写入txt文档
     key_list.append(key)
     word_dict[key]=0 

 for i in range(len(key_list)):
  sheet.write(i, 1, label = orderList[i])
  sheet.write(i, 0, label = key_list[i])
 wbk.save('wordCount.xls') #保存为 wordCount.xls文件

1.txt是你需要分词统计的文本内容，最后会生成wordCount.txt和wordCount.xls两个文件。下图是最后结果

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

python使用jieba实现中文分词去停用词方法示例

前言 jieba 基于Python的中文分词工具,安装使用非常方便,直接pip即可,2/3都可以,功能强悍,十分推荐. 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词. 分词模块jieba,它是python比较好用的分词模块.待分词的字符串可以是 unicode 或 UTF-8 字符串.GBK 字符串.注意:不建议直接输入 GBK 字符串,可能无法预料地错误解码成 UTF-8 支持三种分词模式 1 精确模式,试图将句子最精确地切开,适合
Python基于jieba库进行简单分词及词云功能实现方法

本文实例讲述了Python基于jieba库进行简单分词及词云功能实现方法.分享给大家供大家参考,具体如下: 目标: 1.导入一个文本文件 2.使用jieba对文本进行分词 3.使用wordcloud包绘制词云环境: Python 3.6.0 |Anaconda 4.3.1 (64-bit) 工具: jupyter notebook 从网上下载了一篇小说<老九门>,以下对这篇小说进行分词,并绘制词云图. 分词使用最流行的分词包jieba,参考:https://github.com/fxsjy/
Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现

简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术: 自然语言处理(NLP) : 大概意思就是让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思这就要做 : 语义相似度接下来我们用Python大法来实
浅谈python jieba分词模块的基本用法

jieba(结巴)是一个强大的分词库,完美支持中文分词,本文对其基本用法做一个简要总结. 特点支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析: 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义: 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词. 支持繁体分词支持自定义词典 MIT 授权协议安装jieba pip install jieba 简单用法结巴分词分为三种模式:精确模式(默认).全模式和搜索引擎
用python结合jieba和wordcloud实现词云效果

0x00 前言突然想做一个漏洞词云,看看哪些漏洞比较高频,如果某些厂商有漏洞公开(比如ly),也好针对性挖掘.就选x云吧(镜像站 http://wy.hxsec.com/bugs.php ).用jieba和wordcloud两个强大的第三方库,就可以轻松打造出x云漏洞词云. github地址: https://github.com/theLSA/wooyun_wordcloud 本站下载地址:wooyun_wordcloud 0x01 爬取标题直接上代码: #coding:utf-8 #Au
详解Python数据可视化编程 - 词云生成并保存（jieba+WordCloud）

思维导图: 效果(语句版): 源码: # -*- coding: utf-8 -*- """ Created on Tue Mar 5 17:59:29 2019 @author: dell """ # ============================================================================= # 步骤: # 分割aaa = jieba.cut(str,cut_all=True/Fa
Python jieba库用法及实例解析

1.jieba库基本介绍 (1).jieba库概述 jieba是优秀的中文分词第三方库 - 中文文本需要通过分词获得单个的词语 - jieba是优秀的中文分词第三方库,需要额外安装 - jieba库提供三种分词模式,最简单只需掌握一个函数 (2).jieba分词的原理 Jieba分词依靠中文词库 - 利用一个中文词库,确定汉字之间的关联概率 - 汉字间概率大的组成词组,形成分词结果 - 除了分词,用户还可以添加自定义的词组 jieba库使用说明 (1).jieba分词的三种模式精确模式.全模式
python jieba分词并统计词频后输出结果到Excel和txt文档方法

前两天,班上同学写论文,需要将很多篇论文题目按照中文的习惯分词并统计每个词出现的频率. 让我帮她实现这个功能,我在网上查了之后发现jieba这个库还挺不错的. 运行环境: 安装python2.7.13:https://www.python.org/downloads/release/python-2713/ 安装jieba:pip install jieba 安装xlwt:pip install xlwt 具体代码如下: #!/usr/bin/python # -*- coding:utf-8
python爬取各类文档方法归类汇总

HTML文档是互联网上的主要文档类型,但还存在如TXT.WORD.Excel.PDF.csv等多种类型的文档.网络爬虫不仅需要能够抓取HTML中的敏感信息,也需要有抓取其他类型文档的能力.下面简要记录一些个人已知的基于python3的抓取方法,以备查阅. 1.抓取TXT文档在python3下,常用方法是使用urllib.request.urlopen方法直接获取.之后利用正则表达式等方式进行敏感词检索. ### Reading TXT doc ### from urllib.request i
利用Python读取txt文档的方法讲解

在G:/PythonPractise文件夹下新建一个名为record.txt的文本文档,写入如下图所示四行内容并保存. 打开python3的idle,开始写代码. 方法一代码和运行结果如下: 如上面运行结果所示,上面的结果是省略end=的写法,等价于end="\n"(回车); 下面的结果是end=""(空字符串)的写法,等价于end="\r"(换行) 方法二代码和运行结果如下: 方法三代码结果如下: 比较三种方法,方法一先将该路径下的文件返回成一
python将txt文档每行内容循环插入数据库的方法

如下所示: import pymysql import time import re def get_raw_label(rece): re1 = r'"([\s\S]*?)": "' #-------------正则表达式 reg1 = re.compile(re1) # ------------编译一下 str1 = reg1.findall(rece) return str1 def get_detail(rece): re2 = r'": "([\
python 循环读取txt文档并转换成csv的方法

如下所示: # -*- coding: utf-8 -*- """ Created on Fri Jul 29 15:49:06 2016 @author: user """ import os #从文件中读取某一行 linecache.checkcache可以刷新cache ,linecache可以缓存某一行的信息 import linecache def GetFileNameAndExt(filename): (filepath,tempf
快速查询Python文档方法分享

Pydoc本地HTML形式查看我们在编写Python代码时,常常会去查询某些模块及函数的使用,会选择dir()及help()函数.或查看CHM格式的Python帮助文档.或查看Python对应文件的源码.或网上搜索等方式. 这边提供一个本地快速查询Python文档的方式:将pydoc文档以本地HTML形式来查看:不论是Python内建模块,还是你本机已下载的三方模块,都能查看得到,且能定位到你本机的文件地址. 先来看下HTML页面的显示,首页如下,可使用浏览器CTRL+F搜索当前页面,快速定位
基于python实现生成指定大小txt文档

前言在测试过程中经常遇到文件上传的功能,文件的大小边界值测试一直没有好的解决办法,这里我分享一个创建文件的脚本希望对大家有帮助. demo """ * Create by dell on 2020/7/10 * Author :wencheng * 微信公众 :自动化测试 To share """ # !/user/bin/env python # -*- coding:utf-8 -*- import os import time # 获取u
Python jieba 中文分词与词频统计的操作

我就废话不多说了,大家还是直接看代码吧~ #! python3 # -*- coding: utf-8 -*- import os, codecs import jieba from collections import Counter def get_words(txt): seg_list = jieba.cut(txt) c = Counter() for x in seg_list: if len(x)>1 and x != '\r\n': c[x] += 1 print('常用词频度统
python写程序统计词频的方法

在李笑来所著<时间当作朋友>中有这么一段: 可问题在于,当年我在少年宫学习计算机程序语言的时候,怎么可能想象得到,在20多年后的某一天,我需要先用软件调取语料库中的数据,然后用统计方法为每个单词标注词频,再写一个批处理程序从相应的字典里复制出多达20MB的内容,重新整理-- 在新书<自学是门手艺>中,他再次提及: 又过了好几年,我去新东方教书.2003 年,在写词汇书的过程中,需要统计词频,C++ 倒是用不上,用之前学过它的经验,学了一点 Python,写程序统计词频 --<

python jieba分词并统计词频后输出结果到Excel和txt文档方法

相关推荐

随机推荐