许杨
- 作品数:3 被引量:1H指数:1
- 供职机构:南开大学计算机与控制工程学院更多>>
- 发文基金:国家科技支撑计划天津市科技支撑计划更多>>
- 相关领域:自动化与计算机技术更多>>
- 微博热点话题发现的方法实现
- 微博以其高效的传播效率和近似即时的信息获取速度获得广大用户的喜爱。由于微博消息可通过多种智能移动终端发布,所以多数热点话题在微博平台上能近乎实时的体现出来。微博平台每日产生大量的数据,用户想通过浏览大量微博信息从而中获取...
- 许杨
- 关键词:网络爬虫数据预处理
- 文献传递
- 基于分片聚合编码的云存储策略的研究
- 2014年
- 针对HDFS采用的完全复制存储方案会占据较多的存储空间,且对数据的恶意窃取和攻击缺少防御措施,提出了基于分片聚合编码的HDFS数据存储策略,其中采用STAR码对数据进行编码处理,产生编码数据片,然后通过聚合操作将每个数据段中位置相同的数据片聚合组成一个存储数据块,实现了HDFS文件的存储.模拟实验表明基于分片聚合编码的文件存储策略相比原HDFS存储方案在数据分布方面更安全有效.
- 邵秀丽许杨赵素文刘瑞琴
- 关键词:HDFS数据块解码
- 基于STAR码的HDFS失效数据恢复研究
- 2014年
- 针对数据失效、丢失等存储问题,提出了基于STAR码对HDFS中的丢失数据进行恢复,在文件读取过程中,通过对读取失败的数据块所在组的其他可用数据块采用分片、解码和聚合操作,对本组读取失败的数据块进行恢复.给出了基于STAR码与分片聚合编码的数据存储方案,采用了分片聚合解码的数据恢复策略对数据进行恢复,实现了分片聚合解码的数据块动态恢复和数据块持久性恢复.
- 邵秀丽金晶郭迎春许杨
- 关键词:数据恢复解码数据冗余