杜园园
- 作品数：4 被引量：2H指数：1
- 供职机构：中国科学院计算机网络信息中心更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于大数据的航道采集系统的架构设计被引量：2
- 2016年
- 随着大数据技术的迅速发展,智能航道应运而生。航道的水文、水深、岸线等要素数据是实时监测获取的,其具有大数据4V的特征。同时,航道行业中没有标准统一的通讯协议,智能采集设备和业务系统高度耦合,各业务系统存在信息孤岛的状况,无法满足大数据量的要求。因此,本文提出一种基于大数据的航道采集系统的架构设计,构建了高通量、高可靠、高保密的航道数据的采集通道。该系统架构包含四个中心模块:采集处理中心、指令下发中心、数据生命周期管理中心和配置管理中心。各中心模块采用大数据技术分布式/集群架构,能够高效、可靠的处理大规模的实时数据,且能根据数据的规模动态调整集群的大小。本系统通过配置管理中心动态配置协议、设备,实现了对智能设备的可插拔式的管理。所有的智能设备监测的数据均通过采集系统处理后,由业务系统从分发模块订阅,降低设备与业务系统耦合度,且实现所有数据的汇聚整合,有利于后期航道大数据的分析挖掘,进而发现更多有重要价值的航道知识。
- 杜园园吴章生朱小杰
- 关键词：大数据航道
- 一种基于Memcached的大数据缓存交互式查询方法
- 本发明提供一种基于Memcached的大数据缓存交互式查询方法，该方法基于Spark SQL提供的构建外部数据源的方式，结合Memcached缓存的内存读写特点，对特定应用场景下的大数据存储介质作了重新的定义。同时实现了...
- 沈志宏周园春吴章生黎建辉朱小杰杜园园徐晓伟
- 文献传递
- 一种面向大数据的深度学习方法及系统
- 本发明提供一种面向大数据的深度学习方法及系统，该系统包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库；所述大数据引擎Spark将待处理数据进行数据处理；...
- 李亮沈志宏周园春黎建辉张海明杜园园朱小杰崔文娟
- 文献传递
- 一种面向航道大数据的采集系统及采集方法
- 本发明提供一种面向航道大数据的采集系统及采集方法，该系统包括：部署于航道周边的智能采集设备，所述智能采集设备用于采集数据；配置管理中心模块，用于配置智能采集设备的配置信息；处理中心模块，用于获取并更新所述配置信息，并根据...
- 陶永杜园园沈志宏吴章生陈金柱邓仕戈
- 文献传递
