电子技术资料下载
热搜关键词: 机器人电路基础模拟电子技术matlablinux内核
已收藏到:个人中心—我的下载—收藏
基于流水线负载平衡模型的并行爬虫研究
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。关键词:爬虫;并行;流水线;负载平衡
猜您喜欢
上传资源
TI 文字链专区
推荐内容
开源项目推荐 更多
热门活动
热门器件
用户搜过
随便看看
热门下载
热门文章
热门标签
TI 技术论坛
TI 在线培训
Qorvo 射频技术研习社
请先登录EEWorld账户再进行下载哦
新注册用户赠送5积分
您已成功下载!
大家都在看
评论