柴云鹏
- 作品数：42 被引量：107H指数：5
- 供职机构：中国人民大学信息学院更多>>
- 发文基金：国家自然科学基金国家重点实验室开放基金北京市自然科学基金更多>>
- 相关领域：自动化与计算机技术文化科学电子电信更多>>
- 基于非易失性内存的知识图谱系统优化研究
- 2024年
- 分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型,如键值存储作为其存储引擎,以进一步提高其可扩展性和实用性。在这种情况下,上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作,提出了基于非易失性内存查询性能加速(knowledge graph booster,KGB)的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引,用于降低键值存储的读取成本;快速响应的改进Raft算法,用于实现高效的键值存取操作;以及面向键值存储引擎的调优机制,为知识图谱存储系统获得额外的性能提升。通过实验表明,KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响,实现更高的性能提升。
- 柴艳峰李加姝李雨航柴云鹏张蔷张睿潘理虎
- 关键词：知识图谱
- 一种面向多租户的混合存储设备资源隔离的自适应方法
- 本发明涉及一种面向多租户的混合存储设备资源隔离的自适应方法，其步骤：设置一包括混合存储设备、资源隔离工具RIT和自适应精确限速算法模块SAAT的系统；N个用户访问混合存储设备，将用户i期望达到的吞吐量值<Image fi...
- 柴云鹏王传雯孙殿森
- 文献传递
- 一种基于FPGA的内存OLAP查询优化方法
- 本发明涉及一种基于FPGA的内存OLAP查询优化方法，其步骤：构建面向内存‑闪存的数据仓库异构存储模型；基于异构存储模型面向CPU‑FPGA异构处理器的查询优化：通过子查询生成一个分组投影向量；对分组投影向量进行字典表压...
- 张延松张宇柴云鹏周烜王珊
- 文献传递
- 异构分布式键值存储系统Raft组数据自适应分布方法
- 本发明涉及一种异构分布式键值存储系统Raft组数据自适应分布方法，包括以下内容：根据磁盘读写性能和节点KV接口读写性能间的拟合函数，估计节点的读写性能；根据写性能分配数据；每隔设定时间采集系统读写数据情况，并对读写数据情...
- 柴云鹏王洋洋
- 一种数据存储方法、设备、计算机程序及存储介质
- 本发明涉及一种数据存储方法、设备、计算机程序及存储介质，其包括用于处理用户读写请求的步骤；用于实现地址转换的步骤；用于缓存数据块请求的步骤；用于存储用户数据的步骤。本发明能大幅降低RAID5系统的写放大开销，提高系统读写...
- 柴云鹏吴坤尧
- 文献传递
- 云数据库资源与参数协同调优方法研究
- 2024年
- 云数据库中存在许多配置项,包括数据库内部的配置参数以及部署环境的虚拟机资源配置,这些配置项共同决定了数据库的读写性能和资源消耗。在资源弹性伸缩的云环境下,用户关注数据库的服务性能和资源消耗成本。然而,由于配置项众多且负载变化快速,寻找最优的配置项组合变得困难。文中针对负载动态变化的在线调优场景提出了CoTune,一种协同调节云数据库资源与参数的快速调优方法。该方法针对OLTP型动态负载,通过迭代调节云虚拟机资源配置和数据库参数配置,在保障服务质量的前提下降低资源消耗。该方法的创新点如下:首先,在每个调优周期内,采用三阶段方案对资源配额和数据库参数进行调节,优先保障服务质量;其次,根据数据库参数对不同资源的影响进行分类,减小搜索空间,快速调节参数;最后,在数据库参数调节的强化学习模型中,设计特定的奖励函数,快速获取奖励值,加快调节频率。实验结果表明,该方法相比同时调节资源和参数、单独调节资源等方法,能够在保障服务质量的前提下降低资源消耗。通过快速迭代调优,能够应对负载变化的挑战,并在动态负载环境中实现更高效的资源利用。
- 李雨航谭睿雄柴云鹏
- 关键词：服务质量资源消耗
- 大规模RDF图数据上高效率分布式查询处理被引量：9
- 2019年
- 知识图谱是智能数据的主要表现形式,随着知识图谱领域的不断发展,大量的智能图数据以资源描述框架(resourcedescriptionframework,简称RDF)形式发布出来.RDF图上的SPARQL查询语义对应于图同态,是一个NP-完全问题.因此,如何使用分布式方法在大规模RDF图上有效回答SPARQL查询是一个富有挑战性的问题.目前已有研究使用MapReduce计算模型处理大规模RDF数据,但其将SPARQL查询拆分成单个的查询子句,没有考虑RDF数据的丰富语义和自身的图特性,导致Map Reduce迭代次数过多.首先,利用RDF数据内嵌的语义和结构信息作为启发式信息,将查询图分解为星形的集合,可以在更少次迭代内得到查询结果.同时,分解算法给出中间结果较少的星形匹配顺序,基于此顺序,每轮Map Reduce操作通过连接操作匹配一个新的星形,直至产生最终的答案.最后,在标准合成数据集WatDiv和真实数据集DBpedia上进行大量的实验评估.实验结果表明:所提基于星形分解的分布式SPARQLBGP匹配算法能够高效回答查询,查询时间比SHARD和S2X算法的查询时间平均提高一个数量级,且优化算法的查询时间与基本算法相比缩短了49.63%～78.71%.
- 王鑫徐强徐强杨雅君柴云鹏
- 关键词：分布式MAPREDUCE
- 跨域数据管理被引量：1
- 2024年
- 随着数据成为新的生产要素和数字中国顶层战略的推进,跨域数据共享和流通对于实现数据要素价值最大化变得至关重要。国家通过布局全国一体化大数据中心体系、启动“东数西算”工程等一系列举措,为数据要素的跨域应用提供了基础设施。然而,传统的数据管理局限于单一域内,无法满足跨域场景下的数据管理需求。跨域数据管理面临通信层面的跨空间域挑战、数据建模层面的异构模型融合问题,以及数据访问层面的跨信任域挑战。从跨空间域、跨管辖域和跨信任域3个视角出发,探讨了跨域数据管理的内涵、研究挑战及关键技术,并展望了其未来发展趋势。
- 杜小勇李彤卢卫范举张峰柴云鹏
- 关键词：数据管理
- 大数据技术前瞻被引量：26
- 2023年
- 世界主要国家高度重视大数据发展,我国也将发展大数据作为国家战略,发展大数据技术具有重要意义。大数据技术涉及从采集、传输到管理、处理、分析、应用的全生命周期以及生命周期各阶段的数据治理。选取数据生命周期中的管理、处理和分析技术以及大数据治理技术来梳理国内外技术发展现状,特别是研判我国大数据技术发展与国际先进技术之间的差距。另外,在大数据应用需求的驱动下,计算技术体系正面临重构,从“以计算为中心”向“以数据为中心”转型,在新的计算技术体系下,一系列基础理论和核心技术问题亟待破解,新型大数据系统技术成为重要发展方向。在计算体系重构的背景下,提出大数据技术发展的四大技术挑战和十大发展趋势。
- 梅宏杜小勇金海程学旗柴云鹏柴云鹏石宣化靳小龙刘驰
- 一种新型瓦记录磁盘的高可靠数据存储方法被引量：4
- 2022年
- 近年来,传统磁记录的存储密度增长已经达到极限,为了满足快速增长的数据容量需求,多种新型存储技术不断涌现,其中瓦记录(shingledmagneticrecording,SMR)技术已实现商业化,在企业实际应用.由于瓦记录磁盘的叠瓦式结构,磁盘在随机写入时会引起写放大,造成磁盘性能下降.这一问题在部署传统的高可靠存储方案(如RAID5)时会变得更加严重,原因在于校验数据更新频率很高,磁盘内出现大量的随机写请求.研究发现瓦记录内部其实存在具有原位更新能力的“可覆盖写磁道(freetrack)”,基于“可覆盖写磁道”,提出了一种专门针对瓦记录盘的高可靠数据存储方法——FT-RAID,以替代经典的RAID5方法,实现一种廉价、大容量、高可靠的存储系统.FT-RAID包含两个部分:“可覆盖写磁道映射(FT-mapping)”和“可覆盖写磁道缓冲区(FT-buffer)”.FT-mapping实现了一种瓦记录友好的RAID映射方式,将频繁更新的校验块数据映射至“可覆盖写磁道”;FT-buffer实现了一种瓦记录友好的两层缓冲区结构,上层确保了热数据能够原位更新,下层提高了缓冲区的容量.基于真实企业I/O访问记录的实验结果表明,与传统RAID5相比,FT-RAID能够减少80.4%的写放大率,显著提高存储系统整体性能.
- 吴坤尧柴云鹏张大方王鑫
- 关键词：RAID磁盘容错
