公共文化服务平台

搜索到1113篇“ 纠删码“的相关文章

三数据中心下的纠删码算法研究: 2025年; 纠删码算法在单数据中心和多数据中心得到了广泛的应用。目前对纠删码算法的研究更多地关注存储成本和修复带宽,对于如何在专线带宽、交换机受限的情况下完成多数据中心之间的修复,如何在可靠性、容错能力等核心因素之间实现最佳权衡等问题,没有进行充分的分析和解决。针对三数据中心这种最常用的多数据中心场景,首先,提出了纠删码在系统设计中重要的4个因素:冗余度、可靠性、容错能力及解码带宽。其次,根据提出的4个因素,设计了一种单数据中心下满足最优带宽修复的S-LRC算法。再根据提出的S-LRC算法,设计了满足三中心架构体系下的G-LRC算法。相比传统的编码方案,提出的G-LRC算法具有更高的可靠性、更大的容错性及解码带宽惩罚比。其两节点故障时解码带宽惩罚比仅为传统方案的1/7~2/7。最后,将G-LRC算法在大文件存储系统中进行了实现和验证,并且设计了解码最优决策算法来减少修复的带宽,解决了非最大距离可分割码算法在系统中落地难的问题。; 孙婧牛虹婷梁松涛; 关键词：纠删码 REED-SOLOMON码

面向高性能纠删码的内存数据布局优化研究: 2025年; 大数据时代,数据作为核心生产要素,其规模与日俱增且需要大容量、低成本、高性能、高可靠的存储系统储存.为满足该需求,纠删码,尤其是宽条带纠删码,具有高存储效率和可靠性越来越多的被应用于各种存储系统之中.然而,本研究发现在采用主流纠删码编解码库时,宽条带纠删码编解码性能相比窄条带纠删码的性能严重下降,并通过实验发现现有数据布局导致大量的缓存缺失.为此,本文提出了编码条带优先的数据布局(Stripe-Wise Optimization Placement)方法来实现高性能纠删码.本工作据此方法设计了编码条带优先的内存布局的编码算法,并且进行了综合的性能测试.实验结果表明,与传统排列方法相比在宽条带下SWOP方法能够提升78%~109%的吞吐率,对于窄条带能够提升28%~72%编码吞吐率.; 杨湘睿汪少华詹晔康姚杰曹强; 关键词：纠删码数据存储

面向纠删码的高性能冗余转换机制: 2025年; 分布式存储系统采用纠删码来实现高可靠和低开销的数据存储.为了提供不同的可靠性和多样的访问性能,存储系统需要对纠删码数据进行冗余转换,即改变其编码参数.条带合并机制为存储系统的冗余转换提供了一种思路.然而,基于传统纠删码的条带合并会在过程中引发大量的数据块重分布和校验块重计算I/O开销,且在多次合并中会进一步加剧I/O.针对此问题,本文提出了一种新的树型里德-所罗门(TRS)码,通过分散数据块以消除数据块重分布I/O,并通过设计编码矩阵以节约校验块重计算I/O.树型里德-所罗门码进一步设计了存储单元,将参与合并的条带组织成一棵树,使得多次合并依据树结构自底向上高效完成.本文设计实现了分布式存储原型系统.实验表明,树型里德-所罗门码相较于传统纠删码,可以大大减少条带合并的完成时间.; 柏志伟吕敏; 关键词：纠删码

分布式存储纠删码技术的性能研究: 2025年; 纠删码技术广泛应用于分布式存储系统,以保证数据高效可靠存储。在数据存储过程中,纠删码存储系统需要执行数据读写、传输和编解码操作,主要采用RS(Reed-Solomon Code)编码、再生码(Regeration Code,RGC码)、局部修复码(Locally Repairable Code,LRC码)等编码方法。在实际应用中形成了Jerasure、ISA、LRC、SHEC、Clay等常用纠删码方案来适应不同的应用场景。通过分析验证各分布式存储纠删码方案的性能差异,为存储系统设计人员在实际应用中选择适合的纠删码实现方案提供思路。; 倪小芳; 关键词：分布式存储系统纠删码数据修复数据可靠性

一种面向纠删码的存储库优化方法: 2025年; 信息时代,数据存储的可靠性、一致性、安全性和实时性至关重要.纠删码(erasure code,EC)在允许多个存储设备发生故障的同时保证最低的存储开销,被大量应用在数据存储领域.纠删码的编码与解码运算具有计算密集的特征,其性能高低直接影响存储系统的使用效率.作为编码和解码运算中最耗时的部分,多层循环包裹的伽罗华域乘法计算是纠删码优化的一个焦点.首先分析了伽罗华域乘法计算的查表方法中常用的log查表法(LT)、完全乘法查表法(MT)、移位分解法(SH)的优劣势,然后对已有的伽罗华域GF(28)查表方法进行了优化,提出4 b分割法以大幅减少查表开销.在此基础上,利用64位现代处理器体系结构特点,从数据访问粒度扩展和单指令多数据(single instruction multiple data,SIMD)向量化利用实现数据级并行化2个角度优化了多层循环中的数据级访问粒度,提高了编码与解码的运算性能.基于开源存储加速库(Intel storage acceleration library,ISA-L)在申威平台和x86平台上实现和验证了上述优化方法的有效性.结果表明所提优化方法在不同数据规模下均有加速效果,申威平台与优化前相比平均性能加速比为3.28倍,x86平台与优化前相比平均性能加速比为2.36倍.; 谢汶兵关睿雪张艺鸣李佳梅王俊; 关键词：纠删码

纠删码存储网络开销降低方法、装置、设备及存储介质: 一种纠删码存储网络开销降低方法、装置、设备及存储介质，纠删码存储网络开销降低方法包括：在每次对条带进行写入或删除操作时，根据每次写入或删除操作的条带的标识调整延迟淘汰队列；在每次执行聚合任务时，针对每条被写满的条带，根据...; 张得旭

一种基于纠删码存储系统的降级读方法及装置: 本发明提供一种基于纠删码存储系统的降级读方法及装置，其中所述方法包括：接收读数据请求，检查所述读数据请求对应的目标数据是否包括丢失数据子块；在确定数据请求对应的目标数据包括丢失数据子块的情况下，确定降级读所需的健康数据子...; 张广艳牛骁

纠删码存储空间利用率提升方法、装置、设备及存储介质: 一种纠删码存储空间利用率提升方法、装置、设备及存储介质，涉及数据存储技术领域，其中，纠删码存储空间利用率提升方法包括：将校验分片划分为副本数据空间和校验数据空间，所述副本数据空间仅存放未满条带的副本数据，所述校验数据空间...; 张得旭

一种纠删码失效块修复混合加速方法及装置: 本发明公开一种纠删码失效块修复混合加速方法及装置，该方法步骤包括：步骤S01.监控被控网络中数据损坏状态，当接收到失效修复节点发送的失效修复请求时，启动修复控制；步骤S02.查询存储数据的元数据信息并根据当前的网络带宽和...; 程葛瑶夏俊旭郭得科米海波刘凤增王坤徐振兴

一种纠删码失效块修复混合加速方法及装置: 本发明公开一种纠删码失效块修复混合加速方法及装置，该方法步骤包括：步骤S01.监控被控网络中数据损坏状态，当接收到失效修复节点发送的失效修复请求时，启动修复控制；步骤S02.查询存储数据的元数据信息并根据当前的网络带宽和...; 程葛瑶夏俊旭郭得科米海波刘凤增王坤徐振兴

相关作者