不知道用ictclas4j的人多不多，该项目地址是http://code.google.com/p/ictclas4j/ 关于ictclas分词系统讨论组地址是http://groups.google.com/group/ictclas

其中在ictclas4j项目的issues中有人提到一个问题“程序分词最后结果会吃掉一些字”，问题地址为http://code.google.com/p/ictclas4j/issues/detail?id=2，但是没有人来回答。

我也碰到这个问题，只能自己看看了。经过对ictclas4j源程序的理解以及与原始c++版本（FreeICTCLAS）的源程序的比对，终于发现了错误所在：PosTagger.java文件中人名识别部分personRecognize方法里面出错了

ictclas4j的代码是

if (sn.getPos() < 4 && unknownDict.getFreq(sn.getWord(), sn.getPos()) < Utility.LITTLE_FREQUENCY)
	personName += sn.getWord();

 而原始C++版本里面代码为：

				if(m_nBestTag[nPos]<4 && personDict.GetFrequency(m_sWords[nPos],m_nBestTag[nPos])<LITTLE_FREQUENCY)
					nLittleFreqCount++;//The counter increase
				strcat(sPersonName,m_sWords[nPos]);

 这两段代码里面personName和sPersonName含义是一样的，这样我们就看到错误在什么地方了。

估计sinboy在写程序的时候没看清。漏掉的nLittleFreqCount变量在ictclas4j里面添不添加都无所谓，对它暂时没什么影响（以后的版本有没有影响就不知道了），所以我们就直接将该if判断句注释掉。

另外，看到它的sn.getWord()方法我还有点不放心，毕竟sn.getSrcWrod()取得的才是原始字词（参加SegNode类的注释），所以这个方法也改掉比较好。

最终，我的修改方法是将ictclas4j中PosTagger类的personRecognize方法里面的上段代码直接改为：

personName += sn.getSrcWord();

 如此再进行测试，就不会发生分词结果“漏词”、“吃掉词”的现象了。

另外好像据sinboy自己曾说过要将ictclas4j升级到1.0的版本，现在是0.9.1版本的，期待中吧

• 搜狐网站诚聘Java、PHP和C++工程师
• Windows7在微软WinHEC 2008上揭开神秘面纱
• 加入阿里巴巴，发展潜力无限

  paoding和IK分词效果差不多，IK分词多些但速度差些。

原文：

 http://www.zgkw.cn/FORUMS/blogs/dyx/archive/2008/02/18/59776.aspx

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 加入阿里巴巴，发展潜力无限
• 搜狐网站诚聘Java、PHP和C++工程师

我现在用的是je-analysis-1.5.2.jar的分词，当我建立索引大约有几百条的时候，就出现一下异常，看看，是什么原因？谢谢了

java.lang.ArrayIndexOutOfBoundsException: 1056
 at jeasy.analysis.lIIllIlIlIIIllll._$3(Unknown Source:264)
 at jeasy.analysis.lIIllIlIlIIIllll._$2(Unknown Source:143)
 at jeasy.analysis.lIIllIlIlIIIllll._$1(Unknown Source:58)
 at jeasy.analysis.lIIllIlIlIIIllll.next(Unknown Source:38)
 at org.apache.lucene.analysis.StopFilter.next(StopFilter.java:107)
 at org.apache.lucene.index.DocumentWriter.invertDocument(DocumentWriter.java:219)
 at org.apache.lucene.index.DocumentWriter.addDocument(DocumentWriter.java:95)
 at org.apache.lucene.index.IndexWriter.buildSingleDocSegment(IndexWriter.java:1013)
 at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1001)
 at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:983)
 at com.hotct.search.core.IndexProcesser.createIndex(IndexProcesser.java:125)
 at com.hotct.search.app.cms.index.ArticleIndexProcesser.createArticleIndex(ArticleIndexProcesser.java:49)
 at com.hotct.search.app.cms.index.ArticleIndexProcesser.getPageAritcle(ArticleIndexProcesser.java:74)
 at com.hotct.search.app.cms.index.ArticleIndexProcesser.main(ArticleIndexProcesser.java:82)

• 搜狐网站诚聘Java、PHP和C++工程师
• 加入阿里巴巴，发展潜力无限
• Windows7在微软WinHEC 2008上揭开神秘面纱

public class AnalyzerTest extends TestCase {

 

    protected PaodingAnalyzer analyzer = new PaodingAnalyzer();

 

    protected StringBuilder sb = new StringBuilder();

 

    protected String dissect(String input) {

       try {

           TokenStream ts = analyzer.tokenStream("", new StringReader(input));

           Token token;

           sb.setLength(0);

           while ((token = ts.next()) != null) {

              sb.append(token.termText()).append('/');

           }

           if (sb.length() > 0) {

              sb.setLength(sb.length() - 1);

           }

           return sb.toString();

       } catch (Exception e) {

           e.printStackTrace();

           return "error";

       }

    }

 

    // --------------------------------------------------------------

    // 仅包含词语的句子分词策略

    // --------------------------------------------------------------

 

    /**

     * 句子全由词典词语组成，但词语之间没有包含、交叉关系

     */

    public void test100() {

       String result = dissect("台北中文国际");

       assertEquals("台北/中文/国际", result);

    }

 

    /**

     * 句子全由词典词语组成，但词语之间有包含关系

     */

    public void test101() {

       String result = dissect("北京首都机场");

       assertEquals("北京/首都/首都机场/机场", result);

    }

 

    /**

     * 句子全由词典词语组成，但词语之间有交叉关系

     */

    public void test102() {

       String result = dissect("东西已经拍卖了");

       assertEquals("东西/已经/拍卖/卖了", result);

    }

 

    /**

     * 句子全由词典词语组成，但词语之间有包含、交叉等复杂关系

     */

    public void test103() {

       String result = dissect("羽毛球拍");

       assertEquals("羽毛/羽毛球/羽毛球拍/球拍", result);

    }

 

    // --------------------------------------------------------------

    // noise词汇和单字的分词策略

    // --------------------------------------------------------------

 

    /**

     * 词语之间有一个noise字(的)

     */

    public void test200() {

       String result = dissect("足球的魅力");

       assertEquals("足球/魅力", result);

    }

 

    /**

     * 词语之间有一个noise词语(因之)

     */

    public void test201() {

       String result = dissect("主人因之生气");

       assertEquals("主人/生气", result);

    }

 

    /**

     * 词语前后分别有单字和双字的noise词语(与,有关)

     */

    public void test202() {

       String result = dissect("与谋杀有关");

       assertEquals("谋杀", result);

    }

 

    /**

     * 前有noise词语(哪怕)，后面跟随了连续的noise单字(了,你)

     */

    public void test203() {

       String result = dissect("哪怕朋友背叛了你");

       assertEquals("朋友/背叛", result);

    }

 

    /**

     * 前后连续的noise词汇(虽然,某些)，词语中有noise单字(很)

     */

    public void test204() {

       String result = dissect("虽然某些动物很凶恶");

       assertEquals("动物/凶恶", result);

    }

 

    // --------------------------------------------------------------

    // 词典没有收录的字符串的分词策略

    // --------------------------------------------------------------

 

    

    /**

     * 仅1个字的非词汇串(东,西,南,北)

     */

    public void test300() {

       String result = dissect("东&&西&&南&&北");

       assertEquals("东/西/南/北", result);

    }

 

    

    /**

     * 仅两个字的非词汇串(古哥,谷歌,收狗,搜狗)

     */

    public void test302() {

       String result = dissect("古哥&&谷歌&&收狗&&搜狗");

       assertEquals("古哥/谷歌/收狗/搜狗", result);

    }

    

    /**

     * 多个字的非词汇串

     */

    public void test303() {

       String result = dissect("这是鸟语：玉鱼遇欲雨");

       assertEquals("这是/鸟语/玉鱼/鱼遇/遇欲/欲雨", result);

    }

    

    /**

     * 两个词语之间有一个非词汇的字(真)

     */

    public void test304() {

       String result = dissect("朋友真背叛了你了!");

       assertEquals("朋友/真/背叛", result);

    }

    

    /**

     * 两个词语之间有一个非词汇的字符串(盒蟹)

     */

    public void test305() {

       String result = dissect("建设盒蟹社会");

       assertEquals("建设/盒蟹/社会", result);

    }

    

    /**

     * 两个词语之间有多个非词汇的字符串(盒少蟹)

     */

    public void test306() {

       String result = dissect("建设盒少蟹社会");

       assertEquals("建设/盒少/少蟹/社会", result);

    }

 

    // --------------------------------------------------------------

    // 不包含小数点的汉字数字

    // --------------------------------------------------------------

 

 

    /**

     * 单个汉字数字

     */

    public void test400() {

       String result = dissect("二");

       assertEquals("2", result);

    }

 

    /**

     * 两个汉字数字

     */

    public void test61() {

       String result = dissect("五六");

       assertEquals("56", result);

    }

 

    /**

     * 多个汉字数字

     */

    public void test62() {

       String result = dissect("三四五六");

       assertEquals("3456", result);

    }

 

    /**

     * 十三

     */

    public void test63() {

       String result = dissect("十三");

       assertEquals("13", result);

    }

 

    /**

     * 二千

     */

    public void test65() {

       String result = dissect("二千");

       assertEquals("2000", result);

    }

 

    /**

     * 两千

     */

    public void test651() {

       String result = dissect("两千");

       assertEquals("2000", result);

    }

 

    /**

     * 2千

     */

    public void test652() {

       String result = dissect("2千");

       assertEquals("2000", result);

    }

    

    /**

     * 

     */

    public void test653() {

       String result = dissect("3千万");

       assertEquals("30000000", result);

    }

    

    /**

     * 

     */

    public void test654() {

       String result = dissect("3千万个案例");

       assertEquals("30000000/30000000个/案例", result);

    }

 

 

    /**

     * 

     */

    public void test64() {

       String result = dissect("千万");

       assertEquals("千万", result);

    }

 

    public void test66() {

       String result = dissect("两两");

       assertEquals("两两", result);

    }

 

    public void test67() {

       String result = dissect("二二");

       assertEquals("22", result);

    }

 

    public void test68() {

       String result = dissect("2.2两");

       assertEquals("2.2/2.2两", result);

    }

 

    public void test69() {

       String result = dissect("二两");

       assertEquals("2/2两", result);

    }

 

    public void test7() {

       String result = dissect("哪怕二");

       assertEquals("2", result);

    }

 

}
 

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 加入阿里巴巴，发展潜力无限
• 搜狐网站诚聘Java、PHP和C++工程师

开始使用

庖丁中文分词需要一套词典，这些词典需要统一存储在某个目录下，这个目录称为词典安装目录。词典安装目录可以是文件系统的任何目录，它不依赖于应用程序的运行目录。将词典拷贝到词典安装目录的过程称为安装词典。增加、删除、修改词典目录下的词典的过程称为自定制词典。

在linux下，我们可以考虑将词典安装在一个专门存储数据的分区下某目录，以笔者为例，笔者将/data作为系统的一个独立分区，笔者便是将词典保存在/data/paoding/dic下。

在windows下，我们可以考虑将词典安装在非系统盘的另外分区下的某个目录，以笔者为例，笔者可能将词典保存在E:/data/paoding/dic下。

使用者安装辞典后，应该设置系统环境变量PAODING_DIC_HOME指向词典安装目录。

在linux下，通过修改/etc/profile，在文件末尾加上以下2行，然后保存该文件并退出即可。

PAODING_DIC_HOME=/data/paoding/dic

export PAODING_DIC_HOME

在windows下，通过“我的电脑”属性之“高级”选项卡，然后在进入“环境变量”编辑区，新建环境变量，设置“变量名”为PAODING_DIC_HOME；“变量值”为E:/data/paoding/dic

第3步，把paoding-analysis.jar拷贝到应用运行时的类路径(classpath)下。使用集成开发环境(IDE)开发应用的使用者，需要把paoding-analysis.jar拷贝到工程中，然后使用IDE向导引入该Jar包，以便开发应用时IDE能够认识它。

至此，便可以在应用代码中使用庖丁提供的中文分析器了。

提醒：以下示例代码中的IDNEX_PATH表示索引库地址，读者运行以下代码前，应该赋与一个不重要的地址，比如/data/paoding/test_index 或E:/paoding_test_index，以免一时疏忽将重要数据丢失。

• 加入阿里巴巴，发展潜力无限
• 搜狐网站诚聘Java、PHP和C++工程师
• Windows7在微软WinHEC 2008上揭开神秘面纱

	public static void main(String[] args) throws Exception {
		Paoding paoding = PaodingMaker.make();
		paoding.stopAutoDetecting();//关闭自动词典监测，使用手动检测
		PaodingAnalyzer analyzer = PaodingAnalyzer.defaultMode(paoding);
		int count = 1;
		while (true) {
			paoding.forceDetecting();//分词之前手动强制检测一次
			TokenStream ts = analyzer.tokenStream(
					"", new StringReader("庖丁解牛词典检测"));
			Token token;
			while ((token = ts.next()) != null) {
				System.out.println(token);
			}
			System.out.println("--" + (count ++) + "--");
			Thread.sleep(1000 * 5);
		}
	}

• 加入阿里巴巴，发展潜力无限
• 搜狐网站诚聘Java、PHP和C++工程师
• Windows7在微软WinHEC 2008上揭开神秘面纱

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师
• 加入阿里巴巴，发展潜力无限

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 加入阿里巴巴，发展潜力无限
• 搜狐网站诚聘Java、PHP和C++工程师