刘立明
- 作品数：3 被引量：12H指数：2
- 供职机构：国家气象信息中心更多>>
- 相关领域：自动化与计算机技术更多>>
- 高性能气象数据存储集群及在线扩展技术应用被引量：4
- 2013年
- 为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求。结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现。基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性。
- 赵春燕孙英锐董峰刘立明
- 关键词：存储集群SAN
- 气象网格环境下大数据的端到端传输机制研究被引量：7
- 2014年
- 以八个区域中心建立气象网格计算环境(CMAGrid),有效整合利用各区域中心现有的高性能计算资源,以提高气象行业资源利用率和气象作业运行效率。气象作业运行过程中的输入和输出都需要在各区域中心之间进行数据传输,大量的气象数据文件较大,因此,在CAMGrid环境下实现高效的气象大数据传输是个值得研究的课题。本文重点研究CMAGrid环境中各区域中心间端到端的气象大数据的高效传输机制。在气象网格环境搭建的基础上,根据气象大数据的特点,分析影响大数据传输效率的关键问题,基于缓冲区、数据切分、多路并行传输等机制研究一种大数据的端到端高效传输机制,有效利用现有的网络带宽,以提高气象骨干网环境下的数据传输能力。
- 刘立明王彬
- 关键词：端到端大数据多路并发
- 分布式环境下端到端的多路并行传输机制研究被引量：1
- 2017年
- 在分布式环境中,不同的管理域之间的节点由于受到访问控制机制的限制,导致端到端的数据传输无法直接进行,因此必须借助数据源节点和目的节点之间的节点进行中转。此外,在复杂的分布式环境中,数据传输的源端和目的端之间存在多条传输路径,需要考虑在端到端的数据传输过程中如何对多条传输路径进行均衡利用,以提高数据传输效率。为此,利用端到端的数据传输的特点,基于缓冲区、数据分片、多路并行传输等技术,设计了一种适应高性能计算环境中的多路并行数据传输机制,研究了可靠性保证策略。理论分析表明,多路并行传输机制可以有效解决分布式环境下的数据传输访问控制和传输效率等问题,尤其是对于较为复杂的分布式环境下进行的大数据传输,该机制充分利用了整个网络环境的传输带宽,同时解决了中间节点的数据落地问题,为端到端的数据传输提供了高效可靠的保障。
- 刘立明
- 关键词：分布式环境数据传输负载均衡端到端
