林轩
- 作品数:10 被引量:8H指数:2
- 供职机构:国防科学技术大学更多>>
- 发文基金:湖南省自然科学杰出青年基金国家教育部博士点基金国家自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 面向多节点失效的纠删码及数据修复技术研究
- 在分布式存储系统中,基于纠删码的容错机制相比于基于副本的容错机制能够极大地节省数据存储开销。然而,纠删码修复所产生的大量数据传输影响了系统性能,阻碍了纠删码在实际分布式存储系统中的广泛应用。纠删码的修复方式分为立即修复和...
- 林轩
- 关键词:分布式存储系统纠删码数据修复容错机制
- 文献传递
- GRC:一种适用于多节点失效的高容错低修复成本纠删码被引量:6
- 2014年
- 作为云计算重要基础的大规模分布式容错存储系统,采用纠删码作为数据冗余技术能比多副本技术以更低的存储开销获得相同的数据可靠性.然而,过高的修复成本使纠删码技术在实际中的应用受到限制.已有的改进工作虽然可以降低成本,但在多节点失效修复的成本过高.提出一种适用于多节点失效的高容错低修复成本纠删码——分组修复码(group repairable codes,GRC).GRC码通过将条带分组并增加组编码块,显著减少了修复所要传输的数据量,从而节省了宝贵的网络带宽和磁盘I/O资源;GRC码通过多个组编码块在多节点失效时降低修复成本,且维持较好容错能力.根据GRC码的特征,提出基于贪心策略的解码算法(greedy strategy based decode algorithm,GSBD),GSBD通过保证每个失效块的修复成本最小以优化修复过程.实验结果显示,与RS码相比,GRC码将修复网络带宽和磁盘I/O分别降低50%~55%,修复速度提高75%~90%,仅需增加21%存储空间;与LRC码相比,GRC码将修复网络带宽和磁盘I/O分别降低35%~45%,修复速度提高40%~50%,仅需增加13%存储空间;与basic pyramid code(BPC)相比,GRC码将修复网络带宽和磁盘I/O降低15%~25%,修复速度提高20%~25%,仅需增加6%存储空间.
- 林轩王意洁裴晓强许方亮符永铨
- 关键词:分布式存储系统纠删码数据修复
- 一种基于纠删码的文件追加方法
- 本发明公开了一种基于纠删码的文件追加方法,目的是降低文件追加的编码计算开销和网络传输开销。技术方案是先构建一个由一个控制节点和N个存储节点构成的分布存储系统,控制节点安装有数据读写管理程序,存储节点上安装有数据读写程序;...
- 王意洁裴晓强许方亮符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 一种面向纠删码的数据放置方法
- 本发明公开了一种面向纠删码的数据放置方法,目的是提高大规模分布存储系统的容错能力。技术方案是先构建由一个控制节点和M个机架(每个机架上安装N个存储节点)组成的分布存储系统,控制节点上安装有数据写入管理程序,存储节点上安装...
- 王意洁许方亮裴晓强符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种基于纠删码的失效数据线形修复方法
- 本发明公开了一种基于纠删码的失效数据线形修复方法,目的是设计针对纠删码特点的失效数据修复方法。方案是构建由一个控制节点和N个存储节点构成的分布存储系统,控制节点装有任务管理程序和结果回收程序,存储节点装有修复程序;任务管...
- 王意洁许方亮裴晓强符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种面向纠删码的数据放置方法
- 本发明公开了一种面向纠删码的数据放置方法,目的是提高大规模分布存储系统的容错能力。技术方案是先构建由一个控制节点和M个机架(每个机架上安装N个存储节点)组成的分布存储系统,控制节点上安装有数据写入管理程序,存储节点上安装...
- 王意洁许方亮裴晓强符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种基于纠删码的文件追加方法
- 本发明公开了一种基于纠删码的文件追加方法,目的是降低文件追加的编码计算开销和网络传输开销。技术方案是先构建一个由一个控制节点和N个存储节点构成的分布存储系统,控制节点安装有数据读写管理程序,存储节点上安装有数据读写程序;...
- 王意洁裴晓强许方亮符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种基于纠删码的失效数据线形修复方法
- 本发明公开了一种基于纠删码的失效数据线形修复方法,目的是设计针对纠删码特点的失效数据修复方法。方案是构建由一个控制节点和N个存储节点构成的分布存储系统,控制节点装有任务管理程序和结果回收程序,存储节点装有修复程序;任务管...
- 王意洁许方亮裴晓强符永铨孙伟东程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种基于改进型纠删码的失效数据修复方法
- 本发明公开了一种基于改进型纠删码的失效数据修复方法,目的是设计针对数据访问特点的高效的失效数据修复方法。技术方案是构建一个由1个控制节点和N个存储节点组成的分布存储系统,控制节点安装有数据写入管理程序和数据修复程序;存储...
- 王意洁孙伟东裴晓强许方亮符永铨程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递
- 一种基于改进型纠删码的失效数据修复方法
- 本发明公开了一种基于改进型纠删码的失效数据修复方法,目的是设计针对数据访问特点的高效的失效数据修复方法。技术方案是构建一个由1个控制节点和N个存储节点组成的分布存储系统,控制节点安装有数据写入管理程序和数据修复程序;存储...
- 王意洁孙伟东裴晓强许方亮符永铨程力李小勇马行空王媛赵越林轩熊泽宇
- 文献传递