基于结构驱动的网络论坛采集路径研究
文献类型:期刊论文
作者 | 李恒训3; 李南波2; 邱泳钦1; 徐燕1; 刘金刚3 |
刊名 | 计算机应用研究
![]() |
出版日期 | 2011 |
卷号 | 28.0期号:009页码:3284 |
关键词 | 信息检索 论坛采集 结构驱动 聚类 路径选择 |
ISSN号 | 1001-3695 |
英文摘要 | 网络论坛中蕴涵着大量具有实用价值和商业价值的信息,是搜索引擎和问答系统信息的重要来源。针对论坛结构复杂、链接种类繁多,以及容易陷入采集陷阱等问题,提出了一种基于结构驱动的采集路径选择方法。首先根据用户标注的少量类型数据,利用DOM树对采样网页基于网页结构进行结构聚类;其次根据各节点的评价进行采集路径选择;最后对翻页链接进行有效的识别和处理。实验表明,该方法采集的覆盖率和有效率明显优于传统算法,并且应用在中国科学院计算所舆情监测平台上取得了良好的效果。 |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/37807] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 1.中国科学院计算技术研究所 2.湘潭大学信息工程学院 3.首都师范大学计算机联合研究院 |
推荐引用方式 GB/T 7714 | 李恒训,李南波,邱泳钦,等. 基于结构驱动的网络论坛采集路径研究[J]. 计算机应用研究,2011,28.0(009):3284. |
APA | 李恒训,李南波,邱泳钦,徐燕,&刘金刚.(2011).基于结构驱动的网络论坛采集路径研究.计算机应用研究,28.0(009),3284. |
MLA | 李恒训,et al."基于结构驱动的网络论坛采集路径研究".计算机应用研究 28.0.009(2011):3284. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。