基于大规模语料库的新词检测
文献类型：期刊论文
| 作者 | 崔世起; 刘 群; 孟 遥; 于 浩; 西野文人 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2006 |
| 期号 | 第5期页码:927~932页 |
| 关键词 | 新词 垃圾串 垃圾头 垃圾尾 独立词概率 |
| 英文摘要 | 自然语言的发展提出了快速跟踪新词的要求.提出了一种基于大规模语料库的新词检测方法，首先在大规模的Internet生语料上进行中文词法切分，然后在分词的基础上进行频度统计得到大量的候选新词.针对二元新词、三元新词、四元新词等的常见模式，用自学习的方法产生3个垃圾词典和一个词缀词典对候选新词进行垃圾过滤，最后使用词性过滤规则和独立词概率技术进一步过滤.据此实现了一个基于Internet的进行在线新词检测的系统，并取得了令人满意的性能.系统已经可以应用到新词检测、术语库建立、热点命名实体统计和词典编纂等领域. |
| 语种 | 中文 |
| 公开日期 | 2010-10-15 |
| 源URL | [http://ictir.ict.ac.cn/handle/311040/672]  |
| 专题 | 中国科学院计算技术研究所期刊论文_2006年中文 |
| 推荐引用方式 GB/T 7714 | 崔世起,刘 群,孟 遥,等. 基于大规模语料库的新词检测[J]. 计算机研究与发展,2006(第5期):927~932页. |
| APA | 崔世起,刘 群,孟 遥,于 浩,&西野文人.(2006).基于大规模语料库的新词检测.计算机研究与发展(第5期),927~932页. |
| MLA | 崔世起,et al."基于大规模语料库的新词检测".计算机研究与发展 .第5期(2006):927~932页. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。