杨义繁
- 作品数：9 被引量：9H指数：1
- 供职机构：清华大学软件学院更多>>
- 发文基金：国家自然科学基金国家科技支撑计划国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 支持大规模监测数据分析的LaUD-KV聚集操作扩展被引量：1
- 2013年
- 结合当前维护、维修和大修行业对于大数据存储和查询的需求,对当前工业数据存储方案和大数据查询模式的优缺点进行了研究和分析,提出一套在分布式存储环境下工业大数据的聚集函数查询框架和对应算法。基于现有的LaUD-KV存储模式和LaSQL语言,实现了一套能满足工业大数据查询需求的类SQL聚集函数,使得在数据过亿的情况下,系统对于聚集查询的响应时间缩短为原有的30%左右,同时为上层的维护、维修和大修监测平台提供了技术支持。
- 徐昊杨义繁张力刘英博王建民
- 关键词：监测数据聚集函数
- 一种基于键值库的文件与结构化数据统一存储方法
- 本发明涉及一种基于键值库的文件与结构化数据统一存储方法，属于计算机数据管理技术领域。本方法通过将文件切分成多个数据块，在键值库符合特定模式的表格中存储文件及文件夹元数据和文件数据块，支持对文件及结构化数据进行统一存储，并...
- 王建民朱妤晴李旭嘉杨义繁丁贵广
- 一种在键值库中进行分布式数据分析的方法
- 本发明一种在键值库中进行分布式数据分析的方法，属于数据处理技术领域。将键值库中与哈希范围对应的数据作为一个数据块，每个数据块有多个副本，选取一个副本进行映射处理，得到多个中间数据块，存储在当前计算机上；聚集处理从映射处理...
- 王建民丁贵广朱妤晴衣国垒杨义繁
- 一种基于键值库的文件与结构化数据统一存储方法
- 本发明涉及一种基于键值库的文件与结构化数据统一存储方法，属于计算机数据管理技术领域。本方法通过将文件切分成多个数据块，在键值库符合特定模式的表格中存储文件及文件夹元数据和文件数据块，支持对文件及结构化数据进行统一存储，并...
- 王建民朱妤晴李旭嘉杨义繁丁贵广
- 文献传递
- 基于着色Petri网的HDFS数据一致性建模与分析被引量：8
- 2021年
- HDFS分布式文件系统作为Apache Hadoop的核心组件之一,在工业界得到了广泛应用.HDFS采用了多副本机制保证数据的可靠性,但是由于多副本的存在,在节点失效、网络中断、写入失败时可能会导致数据不一致.与传统文件系统相比,HDFS被认为其数据一致性有所降低,但用户并不知道何时会出现不一致的情况,目前也没有相关工作对其一致性机制进行验证说明.当数据存在一致性问题时,会增加上层应用的不确定性.可见,对数据一致性的研究十分必要.HDFS的软件规模庞大,且在分布式环境下运行,针对这些特点,采用了着色Petri网建模和状态空间分析的方法,完成了以下工作:(1)使用着色Petri网对HDFS的读写流程建立模型,该模型详细刻画了HDFS内部各个组件的功能及相互协作的机制;(2)基于着色Petri网模型,使用状态空间工具分析了HDFS的数据层一致性和操作层一致性,验证并详细说明了HDFS出现不一致的条件;(3)在分析过程中,提出了“时点重复读”的操作层一致性验证方法,采用串行化的重复读策略降低了状态空间复杂度.基于以上工作,针对HDFS上层应用的开发给出建议,帮助提高应用的数据一致性.此外,在建模过程中提出的建模技巧给基于CPN Tools工具分析其他系统提供了借鉴.
- 乔嘉林黄向东杨义繁王建民吴凯
- 关键词：HDFS一致性着色PETRI网
- 一种在键值库中进行分布式数据分析的方法
- 本发明一种在键值库中进行分布式数据分析的方法，属于数据处理技术领域。将键值库中与哈希范围对应的数据作为一个数据块，每个数据块有多个副本，选取一个副本进行映射处理，得到多个中间数据块，存储在当前计算机上；聚集处理从映射处理...
- 王建民丁贵广朱妤晴衣国垒杨义繁
- 文献传递
- 一种键值库数据存储中柔性事务管理方法
- 本发明涉及一种键值库数据存储中柔性事务管理方法，属于计算机数据库管理技术领域。该方法包括以下步骤：写入数据时，协调模块将请求封装成日志，获取当前日志位置，使用派克斯算法将日志写入新日志位置，记录该位置，返回操作成功信息，...
- 王建民丁贵广朱妤晴衣国垒杨义繁
- 文献传递
- 一种键值库数据存储中柔性事务管理方法
- 本发明涉及一种键值库数据存储中柔性事务管理方法，属于计算机数据库管理技术领域。该方法包括以下步骤：写入数据时，协调模块将请求封装成日志，获取当前日志位置，使用派克斯算法将日志写入新日志位置，记录该位置，返回操作成功信息，...
- 王建民丁贵广朱妤晴衣国垒杨义繁
- 文献传递
- 强快照与强提交读隔离的多键云事务实现方法
- 2011年
- 当前云环境的存储系统一般只提供弱一致性和单键事务的数据访问功能,具有强一致性或多键事务需求的应用只能自行检测一致性或进行事务管理,增加了云应用开发的复杂度。这些要求高一致性和高可用性的云应用,对云存储系统的事务实现提出了新的挑战。在Megastore串行化事务实现方案的基础上,提出了基于读写集对比的事务强快照隔离和强提交读隔离方案,将并发事务之间读写冲突的判断提前,从而减少冲突事务回滚时引发的额外消耗。基于云存储系统Cassandra实现了两种方案,并针对云应用事务的访问模式,设计了实验验证框架。通过与Megastore事务实现方案的对比,验证了强快照和强提交读事务隔离方案能获得更高并发度的优化效果。
- 杨义繁刘丹朱妤晴丁贵广王建民
- 关键词：事务云计算
