黄山
- 作品数:5 被引量:82H指数:3
- 供职机构:东北大学信息科学与工程学院更多>>
- 发文基金:国家自然科学基金国家重点基础研究发展计划国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术更多>>
- 基于Map-Reduce的海量数据高效Skyline查询处理被引量:46
- 2011年
- Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.
- 丁琳琳信俊昌王国仁黄山
- 关键词:SKYLINE查询MAP-REDUCE海量数据HADOOP
- 基于Storm的连续范围查询优化技术被引量:1
- 2017年
- 移动大数据环境下,传统基于位置服务LBS技术面临来自系统扩展性、性能等方面的挑战。首先针对LBS应用的特点,提出了基于Storm的查询框架。然后结合基于Storm的LBS查询框架,设计并实现了并行连续范围查询算法,优化查询性能。针对分布式环境中的一致性问题,设计使用基于ZooKeeper的分布式锁服务,保证查询结果的正确性。进一步,针对基于Storm并行连续范围查询算法中存在访问数据库开销较大的问题,提出了基于TimeCacheMap的缓存优化算法及两种缓存策略,减少了访问数据库的开销,提高了查询效率。
- 王波涛赵凯利常立东李睿黄山李静李响
- 关键词:TWITTERSTORM并行查询处理优化技术
- 基于Map-Reduce框架云环境时空查询技术研究与实现
- 时空数据管理是时态数据管理和空间数据管理的统一体,包括时间与空间两个要素,主要用于管理和储存位置或形状随时间变化的空间对象。时空数据管理可以应用于环境变迁研究、行政区域管理、地籍管理等诸多领域中。与此同时,基于Map-R...
- 黄山
- 关键词:云计算MAP-REDUCE时空查询
- 文献传递
- MapReduce优化技术综述被引量:31
- 2013年
- 作为一种处理大数据的并行编程模型,MapReduce由于其良好的可扩展性、可用性、容错性,得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足,已经存在大量的优化技术。介绍了MapReduce框架,比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术,分析了MapReduce技术研究的挑战性问题,指出了未来研究方向。
- 黄山王波涛王国仁于戈李佳佳
- 关键词:MAPREDUCE索引迭代调度算法
- 不确定移动对象的查询处理技术研究综述被引量:4
- 2013年
- 由于数据采集设备不精确,移动对象延迟更新和隐私保护等原因,移动对象的不确定性普遍存在。在传统数据库中增加概率维,使得对象表达、查询定义、查询处理以及最终结果的呈现,都与传统方法不同,基于确定数据的移动对象查询处理技术无法进行有效处理。因此,基于不确定对象的查询处理技术受到越来越多的关注,成为当前数据库领域的研究热点问题之一。讨论了不确定对象查询面临的挑战;从查询定义、剪枝策略和算法等角度,分别对基于不确定移动对象的范围查询、最近邻查询、反最近邻查询和轨迹查询的研究现状进行了详细的介绍和对比;探讨了今后的研究重点和发展趋势。
- 李佳佳王波涛王国仁黄山
- 关键词:不确定数据范围查询最近邻查询反最近邻查询