杨静怡
- 作品数:6 被引量:13H指数:1
- 供职机构:华中科技大学更多>>
- 发文基金:国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术更多>>
- 一种基于MapReduce的负载自适应任务调度方法
- 本发明公开了一种基于MapReduce的负载自适应的任务调度方法,包括:(1)动态监测Hadoop集群负载状态,(2)动态监测集群各执行节点在执行任务过程中产生的软件信息,(3)动态监测集群各执行节点在执行任务过程中的硬...
- 王芳冯丹杨静怡吴雪瑞
- 文献传递
- 一种基于Hadoop多作业环境下的资源调度方法
- 本发明公开了一种基于Hadoop多作业环境下的资源调度方法,包括:(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息,(2)实时采集集群各计算节点上用户的作业执行监控信息,(3)汇总集群三方监控数据,建模评估节...
- 王芳冯丹杨静怡潘佳艺周俊
- 文献传递
- 异构Hadoop集群下的负载自适应反馈调度策略被引量:13
- 2017年
- 随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。
- 潘佳艺王芳王芳王芳
- 关键词:异构集群动态调度负载自适应
- Hadoop中作业的自适应资源调度策略研究与实现
- 随着基于Hadoop平台的大数据技术不断发展和实践的深入,Hadoop YARN(Yet Anouther Resource Negotiator)资源调度策略在异构集群中的不适用性越发明显。一方面,YARN资源调度器无...
- 杨静怡
- 关键词:异构集群自适应资源调度
- 一种基于MapReduce的负载自适应任务调度方法
- 本发明公开了一种基于MapReduce的负载自适应的任务调度方法,包括:(1)动态监测Hadoop集群负载状态,(2)动态监测集群各执行节点在执行任务过程中产生的软件信息,(3)动态监测集群各执行节点在执行任务过程中的硬...
- 王芳冯丹杨静怡吴雪瑞
- 文献传递
- 一种基于Hadoop多作业环境下的资源调度方法
- 本发明公开了一种基于Hadoop多作业环境下的资源调度方法,包括:(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息,(2)实时采集集群各计算节点上用户的作业执行监控信息,(3)汇总集群三方监控数据,建模评估节...
- 王芳冯丹杨静怡潘佳艺周俊
- 文献传递