Twitter中重复消息的分析和处理
文献类型:期刊论文
作者 | 徐凯2; 沙瀛3; 李阳1; 单既喜3; 王晓岩3 |
刊名 | 计算机工程与应用
![]() |
出版日期 | 2014 |
卷号 | 000期号:021页码:111 |
关键词 | 推特 微博 Simhash 短文本去重 |
ISSN号 | 1002-8331 |
英文摘要 | Twitter已经成为微博中的代表性应用,但是通过分析发现twitter上的消息(推文)有很多完全一致或相似,这对后续对推文的分析和存储都带来很大的问题。为了处理这些内容完全一致或相似的消息(推文),针对推文特有的短文本的特点,基于规则处理完全一致的推文,采用simhash的方法来处理相似性的推文。实验采用实际抓取的240万条推文数据进行分析和处理,分别对中文和英文的推文重复情况进行了分析,实验结果发现重复的推文占总推文的10%左右。 |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/30919] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 1.中国科学院计算技术研究所 2.江西农业大学 3.中国科学院信息工程研究所 |
推荐引用方式 GB/T 7714 | 徐凯,沙瀛,李阳,等. Twitter中重复消息的分析和处理[J]. 计算机工程与应用,2014,000(021):111. |
APA | 徐凯,沙瀛,李阳,单既喜,&王晓岩.(2014).Twitter中重复消息的分析和处理.计算机工程与应用,000(021),111. |
MLA | 徐凯,et al."Twitter中重复消息的分析和处理".计算机工程与应用 000.021(2014):111. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。