热搜关键词: 机器人电路基础模拟电子技术matlablinux内核

pdf

基于流水线负载平衡模型的并行爬虫研究

  • 1星
  • 2013-09-18
  • 139.79KB
  • 需要2积分
  • 0次下载
标签: 基于流水线负载平衡模型的并行爬虫研究

基于流水线负载平衡模型的并行爬虫研究

针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。关键词:爬虫;并行;流水线;负载平衡

展开预览

评论

登录/注册

意见反馈

求资源

回顶部

推荐内容

热门活动

热门器件

随便看看

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
×