国家科技重大专项(2009X01028-002-003)
- 作品数：2 被引量：0H指数：0
- 相关作者：汪睿郑启龙周寰王向前更多>>
- 相关机构：安徽省高性能计算重点实验室中国科学技术大学更多>>
- 发文基金：安徽省自然科学基金国家科技重大专项更多>>
- 相关领域：自动化与计算机技术更多>>
- HPMR内存管理模块优化设计
- 2011年
- HPMR系统是一个采用MapReduce模型的高性能计算软件支撑平台,它改进了MapReduce模型以适应高性能计算的需求。高效的HPMR系统内存管理模块是保证其效率的重要模块。HPMR系统中有两个角色,Master和Worker。Master负责从输入数据文件中读入数据块并分配给Workers。Worker负责接收master分配的数据块、管理map函数的输入输出模块的输入输出数据、管理reduce函数输入输出数据。目前的内存管理模块存在管理通信冗余、管理低效、数据处理并行不足等缺点。本文根据成熟的内存优化理论,重新设计了HPMR底层的数据管理机制,提出了基于内存池的内存管理。实验表明,新的内存管理模块是保证HPMR系统高效的必要条件。
- 郑启龙汪睿王向前
- 关键词：MAPREDUCE内存池数据管理
- KD60集群消息传递接口群集通信算法优化
- 2011年
- 大规模集群已经发展到多核的时代,多核架构对并行计算提出了新的要求。消息传递接口(MPI)是最常用的并行编程模型,而群集通信又是MPI中的重要组成部分。研究高效的群集通信算法对并行计算效率的提升有着重要的作用。KD60平台是采用首款国产多核芯片——龙芯3号搭建的国产万亿次多核集群。首先分析了KD60平台多核集群的体系特征以及多核架构下通信具有的层次性特征;然后分析原有群集通信算法实现原理及其不足;最后以广播为例,在原有算法基础上,采用一种基于片上多核(CMP)架构改进算法,改变原有算法通信模式,同时结合实验平台KD60体系特征,对算法做了体系相关优化。实验结果表明,改进算法能够很好地利用多核结构的特点,提高了群集通信广播算法的性能。
- 郑启龙汪睿周寰
- 关键词：消息传递接口多核集群
