IK Analyzer开源的中文分词工具包附使用手册

Java 2020-08-30 12:40:02

IK Analyzer开源的中文分词工具包附使用手册

它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0 版本开始,IK发展为面向 Java 的公用分词组件,独立亍 Lucene 项目,同时提供了对 Lucene 的默认优化实现。

采用了多子处理器分析模式,支持:英文字母、数字、中文词汇等分词处理,兼容韩文、
日文字符优化的词典存储,更小的内存占用。支持用户词典扩展定义。词典支持中文,英文,数字混合词语。