黄伟建
- 作品数:47 被引量:174H指数:7
- 供职机构:河北工程大学信息与电气工程学院更多>>
- 发文基金:河北省自然科学基金河北省高等学校科学技术研究指导项目邯郸市科学技术研究与发展计划项目更多>>
- 相关领域:自动化与计算机技术经济管理电子电信理学更多>>
- MapReduce高可用性的研究与优化被引量:3
- 2014年
- 为提高MapReduce的可用性,提出一种分布式Jobtracker节点模型的优化方案。对Hadoop的核心技术之一MapReduce编程模型中的作业调度过程进行研究分析,指出单一Jobtracker带来的性能瓶颈,提出相应的优化方案;在此基础上,建立总体设计模型,将原MapReduce中单一的Jobtracker节点优化为具有多个Jobtracker节点的Jobtracker集群;在该模型的基础上,采用多对多的通信方法优化通信方式,以维护作业量列表的方式优化作业均衡,提高MapReduce的可用性和作业执行效率。通过测试系统的容错性和执行效率,验证了优化后模型的高可用性和高效性。
- 黄伟建周鸣爱
- 关键词:云计算编程模型高可用性
- 发电量预测方法、装置及终端设备
- 本发明提供了一种发电量预测方法、装置及终端设备,该方法应用于发电量预测领域,包括:获取历史发电量数据,并基于历史发电量数据对预设训练模型进行训练,得到发电量预测模型;根据发电量预测时段提取历史发电量数据中的部分数据作为发...
- 黄伟建张一帆
- 文献传递
- 基于Dijkstra算法分布式JobTracker节点模型通信方式的优化
- 2016年
- 针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.
- 黄伟建杨海龙
- 关键词:MAPREDUCE通信方式DIJKSTRA
- 改进的遗传算法在钢铁企业污染物排放量预测的研究被引量:2
- 2021年
- 在钢铁企业的发展中,环境保护尤为重要,钢铁企业的污染物二氧化硫的排放量是环境保护建设的重要指标。使用遗传算法与动态三次指数平滑法相结合,采用遗传算法中的轮盘赌算法计算最优解区间,并用遗传算法计算最优值,导入指数平滑算法绘制数据走向曲线,并根据企业的生产日志配合使用预测干预法,对钢铁企业污染物排放量进行预测。通过该算法与传统的时间序列预测模型动态指数平滑法进行比较。证明基于遗传算法与动态三次指数平滑的预测模型具有优良的预测精度和准确的预测数据走势的能力,在钢铁企业污染物排放量预测中具有良好的适用性。
- 黄伟建张一帆黄远
- 关键词:污染物排放量遗传算法动态参数
- 电子商务时代的企业客户关系管理被引量:6
- 2011年
- 在信息和知识经济时代,随着网络技术的迅猛发展,传统的贸易正经历一次重大的变革。电子商务显示出巨大的市场价值和发展潜力。电子商务是商业领域的一种新兴商务模式,它是以网络为平台、信息技术为手段、经济效益为中心的现代商业运转模式,其最终目标是实现商务活动的网络化、自动化与智能化。
- 黄伟建赵春荣杜巍
- 关键词:电子商务客户关系管理数据挖掘
- 基于Web使用挖掘的用户有效偏爱浏览路径研究
- 2014年
- 在浏览偏爱路径研究的基础上提出了网络拓扑结构加权的方法,与用户浏览路径进行结合得到用户实际浏览偏爱路径。设定网络拓扑主干路径的权值小于远离主干路径的路径权值,远离主干路径的高频路径是网络拓扑设计者期望得到的有效信息,能够较好地用于改进网站设计,进而提高用户服务质量。最后与NPPMA算法在有效度方面进行了比较,以此证明算法的可取之处。
- 黄伟建冯立娟
- 关键词:浏览路径网络拓扑
- 并行I/O技术在海洋数值模式中的应用研究
- 2016年
- 在海洋数值模拟过程中,随着计算区域的扩大以及计算精度的提升,大量数据输出使得I/O效率成为系统整体性能提升的一个瓶颈。针对这一问题,使用并行I/O技术对系统的输出模块进行优化,并与传统的几种串行I/O方式在不同节点,以及不同计算规模下进行性能比较。通过实验研究数据,对不同I/O方式的不同特点和不同适用场景进行分析,证明在海洋数值模式中使用并行I/O技术切实可行,并且I/O速率得到大幅度提升。
- 黄伟建王鑫韩院彬
- 关键词:并行I/O并行计算消息传递接口I/O
- 异构环境下平滑加权轮询Reduce任务调度算法研究被引量:3
- 2020年
- 传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。
- 黄伟建贾孟玉黄亮
- 关键词:负载均衡异构集群并行图像处理
- 风险管理视角下我国农村电商物流的发展被引量:2
- 2018年
- 文章从当前农村电商物流现状研究出发,分析了当前农村电商物流发展所面临的三大类风险,并给出了相应的风险防范策略,最后对农村电商物流的发展做了总结和展望,为农村电商物流的发展提供参考。
- 王加帅黄伟建
- MATLAB与OpenACC结合实现中值滤波算法并行优化
- 2019年
- 针对当前基于CUDA的中值滤波并行加速算法存在的编程复杂,图像数据提取和显示环节实现繁琐等问题提出了利用MATLAB和OpenACC结合的并行算法。该算法采用MATLAB实现图像的提取并转换成数组文件,之后利用OpenACC实现串行代码到并行代码的转换并处理MATLAB转换的数组文件,最后通过MATLAB将滤波后的数据显示成图像。通过仿真实验进行中值滤波算法的加速实验,结果表明:提出的算法在大量减少代码转换工作量的情况下加速效果较串行程序提升明显且与CUDA加速效果相当。
- 黄伟建王月兴黄远
- 关键词:MATLAB中值滤波