方沛
- 作品数:6 被引量:2H指数:1
- 供职机构:中国科学院计算技术研究所更多>>
- 发文基金:天津市科技计划更多>>
- 相关领域:自动化与计算机技术更多>>
- 一种纠删码RAID的数据一致性保障方法及系统
- 本发明提出一种纠删码RAID的数据一致性保障方法及系统,涉及计算机存储领域,该方法包括步骤1,当有新数据写入时,修改版本设备中各设备的数据映射表,并生成事务日志表,所述版本设备中各设备进行异步下刷操作,完成后,清除所述事...
- 贾思懿张强刘振军刘建亮方沛许鲁
- 文献传递
- 基于Infiniband的HDFS分布式文件系统的设计与实现
- 随着CPU计算能力和计算机磁盘I/O速度的不断提高,企业分布式文件系统在传输海量数据时会遇到网络带宽的性能瓶颈问题。由于以太网传输能力相比于CPU处理能力和磁盘I/O能力差,所以网络带宽在很大程度上影响了分布式文件系统的...
- 方沛
- 关键词:INFINIBAND网络
- 一种纠删码RAID的数据一致性保障方法及系统
- 本发明提出一种纠删码RAID的数据一致性保障方法及系统,涉及计算机存储领域,该方法包括步骤1,当有新数据写入时,修改版本设备中各设备的数据映射表,并生成事务日志表,所述版本设备中各设备进行异步下刷操作,完成后,清除所述事...
- 贾思懿张强刘振军刘建亮方沛 史海燕许鲁
- 文献传递
- 多重条带布局的混合RAID系统研究
- 2017年
- 随着数据容量的爆炸式增长以及数据价值的日益增加,应用对存储系统的容量、成本、数据可靠性和数据访问性能等方面提出越来越高的要求.针对纠删码存储存在的与传统RAID技术所面临相同的小写更新与Write Hole的问题,提出一种多重条带布局的Hybrid-RAID技术.该技术采用纠删码,对外提供N+M的数据可靠性保护级别,降低冗余数据的存储开销;采用同步镜像小写、异步镜像转换纠删码的方式,并且保证转换过程无数据覆盖和迁移,从而有效解决同步纠删码的小写更新问题;通过纠删码数据块与校验块的非原位更新,避免纠删码的Write Hole问题.测试结果表明,与RAID6相比,Hybrid-RAID系统的顺序小写性能平均提升了2.05倍,随机小写平均提升6.6倍.
- 蔡杰明方沛贾思懿董欢庆刘振军刘国良
- 关键词:WRITEHOLE
- 基于Infiniband的分布式文件系统的设计与实现
- 随着CPU计算能力和计算机磁盘I/O速度的不断提高,企业分布式文件系统在传输海量数据时会遇到网络带宽的性能瓶颈问题。由于以太网传输能力相比于CPU处理能力和磁盘I/O能力差,所以网络带宽在很大程度上影响了分布式文件系统的...
- 方沛
- 关键词:INFINIBANDRDMA
- 文献传递
- AWR-RAID:一致性保证的纠删码RAID系统被引量:1
- 2017年
- 信息技术正在从以计算设备为核心的计算时代进入到以数据为核心的存储时代.数据量和数据价值的增加,对存储系统的容量、成本、访问性能和数据可靠性等方面提出了更高的要求.为减小冗余数据开销并保证数据的可用性和可靠性,采用纠删码技术已成为业界的发展趋势.数据一致性是纠删码存储系统的本质属性,保证了数据的可靠性和可用性,高效保证纠删码数据的一致性是纠删码系统的关键.提出"写后重映射"存储模型(After Write Remapping,AWR)和事务实现方法,保证了纠删码数据的一致性.AWR模型为纠删码数据的更新过程提供原子性和持久性,采用非原位更新和原子重映射机制保证了更新过程中数据的一致性,具有通用性好、存储开销低和事务性能高的特点.经过理论分析和实际测试验证,AWR事务存储模型带来的纠删码存储系统读性能损失低于1%,64KB及以上粒度的写性能损失低于3%,高效地保证了纠删码数据的一致性.
- 贾思懿刘振军刘建亮方沛董欢庆
- 关键词:纠删码一致性事务