中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
Twitter中重复消息的分析和处理

文献类型:期刊论文

作者徐凯2; 沙瀛3; 李阳1; 单既喜3; 王晓岩3
刊名计算机工程与应用
出版日期2014
卷号000期号:021页码:111
关键词推特 微博 Simhash 短文本去重
ISSN号1002-8331
英文摘要Twitter已经成为微博中的代表性应用,但是通过分析发现twitter上的消息(推文)有很多完全一致或相似,这对后续对推文的分析和存储都带来很大的问题。为了处理这些内容完全一致或相似的消息(推文),针对推文特有的短文本的特点,基于规则处理完全一致的推文,采用simhash的方法来处理相似性的推文。实验采用实际抓取的240万条推文数据进行分析和处理,分别对中文和英文的推文重复情况进行了分析,实验结果发现重复的推文占总推文的10%左右。
语种英语
源URL[http://119.78.100.204/handle/2XEOYT63/30919]  
专题中国科学院计算技术研究所期刊论文_中文
作者单位1.中国科学院计算技术研究所
2.江西农业大学
3.中国科学院信息工程研究所
推荐引用方式
GB/T 7714
徐凯,沙瀛,李阳,等. Twitter中重复消息的分析和处理[J]. 计算机工程与应用,2014,000(021):111.
APA 徐凯,沙瀛,李阳,单既喜,&王晓岩.(2014).Twitter中重复消息的分析和处理.计算机工程与应用,000(021),111.
MLA 徐凯,et al."Twitter中重复消息的分析和处理".计算机工程与应用 000.021(2014):111.

入库方式: OAI收割

来源:计算技术研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。