飘易博客(作者:Flymorn)
订阅《飘易博客》RSS,第一时间查看最新文章!
飘易首页 | 留言本 | 关于我 | 订阅Feed

C#中文分词算法:ChineseAnalyzer

Author:飘易 Source:飘易
Categories:C#编程 PostTime:2011-1-13 18:31:12
正 文:
    C#中文分词算法:ChineseAnalyzer 。

首先需要引用 2个dll库文件 Lucene.Net.dll + Lucene.China.dll ,会打包在本文结束处,使用VS2008调试通过:


using Lucene.Net;
using Lucene.Net.Analysis;
using Lucene.China;


----------


使用方法举例:


        private void button1_Click(object sender, EventArgs e)
        {
            StringBuilder sb = new StringBuilder();
            sb.Remove(0, sb.Length);
            string t1 = "";
            int i = 0;
            Analyzer analyzer = new Lucene.China.ChineseAnalyzer();
            StringReader sr = new StringReader(richTextBox1.Text);
            TokenStream stream = analyzer.TokenStream(null, sr);
        
            long begin = System.DateTime.Now.Ticks;
            Token t = stream.Next();
            while (t != null)
            {
                t1 = t.ToString();   //显示格式: (关键词,0,2) ,需要处理
                t1 = t1.Replace("(","");
                char[] separator = { ',' };
                t1 = t1.Split(separator)[0];
                
                sb.Append(i+":"+ t1 + "\r\n");
                t = stream.Next();
                i++;
            }
            richTextBox2.Text = sb.ToString();
            long end = System.DateTime.Now.Ticks; //100毫微秒
            int time = (int)((end - begin) / 10000); //ms

            richTextBox2.Text += "耗时" + (time) + "ms \r\n=================================\r\n";
        }

截图如下:
C#中文分词算法:ChineseAnalyzer

下载地址:
中文分词算法:ChineseAnalyzer.rar
作者:飘易
来源:飘易
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
上一篇:MYSQL语句优化:limit和count的优化
下一篇:C#中文分词算法:IKAnalyzerNet
3条评论 “C#中文分词算法:ChineseAnalyzer”
2011-1-15 18:35:02
看起来有点复杂啊~~~~~~~~~~~~~
2 伊水缘
2011-10-8 22:03:57
如果能给我一份源代码就好。。。很不错的算法,可惜没有源代码。。。
3 pmingde
2012-4-7 14:42:58
你好!请问如何修改C:\Program Files\Common Files\Microsoft Shared\DevServer\10.0\data\sNoise.txt的地址?谢谢!
发表评论
名称(*必填)
邮件(选填)
网站(选填)

记住我,下次回复时不用重新输入个人信息
© 2007-2010 飘易博客 Www.Piaoyi.Org 原创文章版权由飘易所有 渝ICP备07006361号