使用python进行汉语分词

二、安装及使用(Linux)

1.下载工具包，解压后进入目录下，运行：pythonsetup.pyinstall

Hint：a.一个良好的习惯是，对于下载下来的软件，先看readme，再进行操作。(没有阅读readme，直接尝试+百度，会走很多弯路);

b.当时运行安装命令时，出现错误：nopermission!(有些人可能会遇见这种问题，这是因为权限不够的。执行：sudo!!其中“!!”表示上一条命令，这里指的就是上面的安装命令)，使用sudo后便可正常运行。

2.在使用结巴做分词的时候，一定会用的函数是：jieba.cut(arg1，arg2);这是用于分词的函数，我们只需要了解以下三点，便可使用

a.cut方法接受两个输入参数：第一个参数(arg1)为需要进行分词的字符串，arg2参数用来控制分词模式。

分词模式分为两类：默认模式，试图将句子最精确地切开，适合文本分析;全模式，把句子中所有的可以成词的词语都扫描出来，适合搜索引擎

b.待分词的字符串可以是gbk字符串、utf-8字符串或者unicode

使用Python的人要注意编码问题，Python是基于ASCII码来处理字符的，当出现不属于ASCII的字符时(比如在代码中使用汉字)，会出现错误信息：“ASCIIcodeccan'tencodecharacter”，解决方案是在文件顶部加入语句：#!-*-coding:utf-8-*-来告诉Python的编译器：“我这个文件是用utf-8进行编码的，你要进行解码的时候，请用utf-8”。(这里记住，这个命令一定要加在文件的最顶部，如果不在最顶部，编码问题就依然存在，得不到解决)关于编码的转换，可以参考博文(ps：个人理解“importsysreload(sys)sys.setdefaultencoding('utf-8')”这几句话与“#!-*-coding:utf-8-*-”等价)

c.jieba.cut返回的结构是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(...))转化为list

3.以下举例jieba中提供的一个使用方法作为说明：

#!-*-coding:utf-8-*-

importjieba

seg_list=jieba.cut("我来到北京清华大学",cut_all=True)

print"FullMode:",''.join(seg_list)

seg_list=jieba.cut("我来到北京清华大学")

print"DefaultMode:",''.join(seg_list)

输出结果为：

FullMode:我/来/来到/到/北/北京/京/清/清华/清华大学/华/华大/大/大学/学

DefaultMode:我/来到/北京/清华大学

三、结巴中文分词的其他功能

1、添加或管理自定义词典

结巴的所有字典内容存放在dict.txt，你可以不断的完善dict.txt中的内容。

2、关键词抽取

通过计算分词后的关键词的TF/IDF权重，来抽取重点关键词。

以上内容为大家介绍了使用python进行汉语分词，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注我们http://www.mobiletrain.org/

培训百度信息北京管理

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。