Nodejs做文本数据处理实现详解
目录
- nodejieba 简介
- 特点
- 常用API
- 基本使用
- 1.分词用法
- 2.词性标注
- 3.关键词抽取
- 4.其他用法
nodejieba 简介
随着汉语言的广泛应用,中文信息处理成了一个重要的研究课题,常见于搜索引擎:信息检索、中外文自动翻译、数据挖掘技术、自然语言处理等领域。在处理的过程中,中文分词是最基础的一环。
nodeJieba
是结巴中文分词的 Node.js 版本实现, 由 CppJieba
提供底层分词算法实现,是兼具高性能和易用性两者的 Node.js 中文分词插件。
nodejieba模块支持以下3种分词模式:
(1) 精确模式,试图将句子最精准地切开。
(2) 全模式,将句子中所有可以成词的词语都扫描出来,速度非常快。
(3) 搜索引擎模式,在精确模式的基础上对长词再次切分。
特点
- 词典载入方式灵活,无需配置词典路径也可使用,需要定制自己的词典路径时也可灵活定制。
- 底层算法实现是C++,性能高效。
- 支持多种分词算法。
- 支持动态补充词库。
常用API
noedejieba模块中提供了一系列函数,常用的有cut()函数、cutAll()函数、cutForSearch()函数、tag()函数、extract()函数。
1.cut()函数
用来做精确模式下的内容分词,仅有1个参数sentence,表示需要分词性的内容字符串格式。
2.cutAll()函数
用来做全模式下的内容分词,仅有1个参数sentence,表示需要分词性的内容字符串格式。
3.cutForSearch()函数
用来做搜索引擎模式下的内容分词,仅有1个参数sentence,表示需要分词性的内容字符串格式。
4.tag()函数
用来做词性标注,即根据词性来做分词分类,仅有1个参数sentence,表示需要分词性的内容字符串格式。
5.extract()函数
用来做关键词抽取,有如下2个参数:
- 第一个参数为sentence,表示需要分词的内容字符串格式。
- 第二个参数为topN,表示只保留出现频率为前 N 的词。
基本使用
- 安装依赖
npm install nodejieba --save
- 词典载入可灵活配置
如果需要载入自己的词典,而不是默认词典。 比如想要载入自己的用户词典,则使用以下函数:
nodejieba.load({ userDict: './test/testdata/userdict.utf8', });
字典载入函数load的参数项都是可选的, 如果没有对应的项则自动填充默认参数。 所以上面这段代码和下面这代代码是等价的。
nodejieba.load({ dict: nodejieba.DEFAULT_DICT, hmmDict: nodejieba.DEFAULT_HMM_DICT, userDict: './test/testdata/userdict.utf8', idfDict: nodejieba.DEFAULT_IDF_DICT, stopWordDict: nodejieba.DEFAULT_STOP_WORD_DICT, });
词典说明
- dict: 主词典,带权重和词性标签,建议使用默认词典。
- hmmDict: 隐式马尔科夫模型,建议使用默认词典。
- userDict: 用户词典,建议自己根据需要定制。
- idfDict: 关键词抽取所需的idf信息。
- stopWordDict: 关键词抽取所需的停用词列表。
注意:如果没有主动调用词典函数时, 则会在第一次调用cut等功能函数时,自动载入默认词典。且词典只会被加载一次。
1.分词用法
var nodejieba = require("nodejieba"); var result = nodejieba.cut("南京市长江大桥");// 精确模式 console.log(result); //["南京市","长江大桥"] var nodejieba = require("nodejieba"); var result = nodejieba.cutAll("南京市长江大桥");// 全模式 console.log(result); // [ // '南京', '南京市', // '京市', '市长', // '长江', '长江大桥', // '大桥' // ] var nodejieba = require("nodejieba"); var result = nodejieba.cutForSearch("南京市长江大桥");// 搜索引擎模式 console.log(result); // [ '南京', '京市', '南京市', '长江', '大桥', '长江大桥' ]
2.词性标注
var nodejieba = require("nodejieba"); console.log(nodejieba.tag("红掌拨清波")); //[ { word: '红掌', tag: 'n' }, // { word: '拨', tag: 'v' }, // { word: '清波', tag: 'n' } ]
3.关键词抽取
var nodejieba = require("nodejieba"); var topN = 4; console.log(nodejieba.extract("升职加薪,当上CEO,走上人生巅峰。", topN)); //[ { word: 'CEO', weight: 11.739204307083542 }, // { word: '升职', weight: 10.8561552143 }, // { word: '加薪', weight: 10.642581114 }, // { word: '巅峰', weight: 9.49395840471 } ] // textRankExtract API好像目前已弃用了 console.log(nodejieba.textRankExtract("升职加薪,当上CEO,走上人生巅峰。", topN)); //[ { word: '当上', weight: 1 }, // { word: '不用', weight: 0.9898479330698993 }, // { word: '多久', weight: 0.9851260595435759 }, // { word: '加薪', weight: 0.9830464899847804 }, // { word: '升职', weight: 0.9802777682279076 } ]
4.其他用法
var nodejieba = require('nodejieba'); var sentence = "我是拖拉机学院手扶拖拉机专业的。不用多久,我就会升职加薪,当上CEO,走上人生巅峰。"; var result; // 没有主动调用nodejieba.load载入词典的时候, // 会在第一次调用cut或者其他需要词典的函数时,自动载入默认词典。 // 词典只会被加载一次。 // 精确模式 result = nodejieba.cut(sentence); console.log(result); // 隐马尔可夫模型 result = nodejieba.cutHMM(sentence); console.log(result); // 全模式 result = nodejieba.cutAll(sentence); console.log(result); // 搜索引擎模式 result = nodejieba.cutForSearch(sentence); console.log(result); // 词性标注:根据词性来分 result = nodejieba.tag(sentence); console.log(result); var topN = 5; // 关键词抽取,topN表示取前N个 result = nodejieba.extract(sentence, topN); console.log(result); result = nodejieba.cut("男默女泪");// 精确模式下分成四个字 console.log(result); // 将该词汇插入词库 nodejieba.insertWord("男默女泪"); result = nodejieba.cut("男默女泪");// 在词库中已有的情况下,不细分了 console.log(result); // 设定分词后的单个元素最大长度 result = nodejieba.cutSmall("南京市长江大桥", 3); console.log(result);
以上就是Nodejs做文本数据处理实现详解的详细内容,更多关于Nodejs文本数据处理的资料请关注我们其它相关文章!