您的位置： 专家智库 > >

邱荷花

作品数：4 被引量：7H指数：1
供职机构：华中科技大学计算机科学与技术学院更多>>
发文基金：国家自然科学基金更多>>
相关领域：自动化与计算机技术更多>>

合作作者

文献类型

  • 2篇专利
  • 1篇期刊文章
  • 1篇学位论文

领域

  • 3篇自动化与计算...

主题

  • 4篇爬虫
  • 4篇分布式
  • 2篇信息缺失
  • 2篇视频
  • 2篇爬虫系统
  • 2篇网络
  • 2篇结点
  • 2篇分布式网络
  • 2篇分布式文件
  • 2篇分布式文件系...
  • 2篇负载均衡
  • 2篇URL
  • 2篇HADOOP...
  • 2篇MAPRED...
  • 1篇HADOOP

机构

  • 4篇华中科技大学
  • 1篇中国船舶重工...

作者

  • 4篇邱荷花
  • 2篇刘学
  • 2篇凌贺飞
  • 2篇邹复好
  • 2篇李平
  • 1篇孔涛

传媒

  • 1篇华中科技大学...

年份

  • 1篇2015
  • 2篇2013
  • 1篇2012
共 4 条 记 录，以下是 1-4
全选 清除 导出
排序方式：
一种分布式网络爬虫系统中的URL去重方法
本发明提供了一种分布式网络爬虫系统中的URL去重方法，通过引入虚拟爬行结点，实现了高效的任务划分策略，从而更好地适应分布式网络爬虫系统中实际爬行结点的动态变化，在任务划分策略基础上使用一种分布式的URL去重方式，从而避免...
邹复好凌贺飞李平刘学邱荷花
文献传递
一种分布式网络爬虫系统中的URL去重方法
本发明提供了一种分布式网络爬虫系统中的URL去重方法，通过引入虚拟爬行结点，实现了高效的任务划分策略，从而更好地适应分布式网络爬虫系统中实际爬行结点的动态变化，在任务划分策略基础上使用一种分布式的URL去重方式，从而避免...
邹复好凌贺飞李平刘学邱荷花
基于Hadoop的视频爬虫系统的设计与实现
随着网络的迅猛发展，网络使用人群日益扩大，数字媒体作品数量快速增长。面对网络上如此海量的媒体作品，版权保护成为了一个亟待解决的问题。运用拷贝检测技术实现内容拷贝追踪，是一种行之有效的数字内容版权保护方案。而如何获取海量媒...
邱荷花
关键词：HADOOPMAPREDUCEHADOOP分布式文件系统
文献传递
基于MapReduce的视频爬虫系统研究被引量：7
2015年
针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过MapReduce计算模型实现网页抓取、分析、去重及下载等计算任务,Hadoop分布式文件系统(HDFS)存储各阶段计算任务的计算结果,运用多处备份机制,使得在某个结点退出时转移任务集,不影响整个系统的稳定性和有效性.实验结果表明完全分布式基于Hadoop的视频爬虫系统无论在单位时间内的视频下载速率还是爬取网页个数都明显高于未基于Hadoop的和伪分布式的视频爬虫系统.
孔涛曹丙章邱荷花
关键词：视频爬虫分布式HADOOP分布式文件系统
全选 清除 导出
共1页<1>
聚类工具0