基于大规模语料库的新词检测
文献类型：期刊论文
| 作者 | 崔世起2; 刘群2; 孟遥1; 于浩1; 西野文人1 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2006 |
| 卷号 | 43.0期号:005页码:927 |
| 关键词 | 新词 垃圾串 垃圾头 垃圾尾 独立词概率 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 自然语言的发展提出了快速跟踪新词的要求.提出了一种基于大规模语料库的新词检测方法,首先在大规模的Internet生语料上进行中文词法切分,然后在分词的基础上进行频度统计得到大量的候选新词.针对二元新词、三元新词、四元新词等的常见模式,用自学习的方法产生3个垃圾词典和一个词缀词典对候选新词进行垃圾过滤,最后使用词性过滤规则和独立词概率技术进一步过滤.据此实现了一个基于Internet的进行在线新词检测的系统,并取得了令人满意的性能.系统已经可以应用到新词检测、术语库建立、热点命名实体统计和词典编纂等领域. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/34709]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院大学 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 崔世起,刘群,孟遥,等. 基于大规模语料库的新词检测[J]. 计算机研究与发展,2006,43.0(005):927. |
| APA | 崔世起,刘群,孟遥,于浩,&西野文人.(2006).基于大规模语料库的新词检测.计算机研究与发展,43.0(005),927. |
| MLA | 崔世起,et al."基于大规模语料库的新词检测".计算机研究与发展 43.0.005(2006):927. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。