卞琛 作品数:40 被引量:193 H指数:8 供职机构: 新疆大学信息科学与工程学院 更多>> 发文基金: 国家自然科学基金 新疆维吾尔自治区自然科学基金 新疆维吾尔自治区高校科研计划 更多>> 相关领域: 自动化与计算机技术 文化科学 电子电信 经济管理 更多>>
并行计算框架Spark的自适应缓存管理策略 被引量:18 2017年 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用. 卞琛 于炯 英昌甜 修位蓉关键词:并行计算 缓存管理策略 SPARK 构建高性能网站的关键技术研究 被引量:1 2014年 分析了影响网站性能的各种因素,以及构建高性能网站关键技术。简述了互联网的发展趋势,描述了高性能网站要满足的要求,讲述了架构的原则、架构的演变过程,以及在架构中应该注意的各个方面,在信息数据从存储介质到用户浏览器的传输速度方面,分析了缓存的使用、CDN、负载均衡的各种方式等因素,在服务器对信息数据的处理效率方面,分析了服务器系统软件的选择和框架的使用等因素,如LAMP组合,SSH框架,讨论了服务器可扩展性和稳定性的各个方面,并给出了监控的一种实现方法。 卞琛关键词:网站架构 基于流网络的流式计算动态任务调度策略 被引量:8 2018年 针对大数据流式计算平台中输入数据流速急剧上升所导致的计算延迟升高问题,提出了基于流网络模型的动态调度策略,并将其应用于Flink数据流计算平台。首先,通过定义有向无环图(DAG)中每条边的容量和流量将其转化为流网络模型,并通过容量检测算法确定每条边的容量值;然后,通过最大流算法计算对应的增进网络和优化路径,从而在输入速率上升阶段提升集群的吞吐量,并通过评估时空代价论证了算法的可行性;最后,讨论了重要参数对算法执行效果的影响,并通过实验得出了在不同类型的作业中推荐的参数取值。经实验验证得出:所提算法与Flink平台现有的任务调度策略相比,在输入速率上升阶段对不同作业类型中集群吞吐量的优化比均高于16.12%。实验结果表明动态调度策略在满足任务延迟约束的前提下有效提高了集群的吞吐量。 李梓杨 于炯 卞琛 鲁亮 蒲勇霖关键词:数据流 任务调度 最大流 APACHE storm平台下工作节点的内存电压调控节能策略 被引量:7 2018年 针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。 蒲勇霖 于炯 鲁亮 卞琛 廖彬 李梓杨关键词:大数据 STORM 能耗 基于内存云的大块数据对象并行存取策略 被引量:3 2016年 由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18μs,读取时间为6~7μs。在Infini Band网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。 褚征 于炯 鲁亮 英昌甜 卞琛 王跃飞关键词:存储策略 基于信誉值的结构化数据访问控制模型 被引量:2 2018年 为解决分布式系统中的个性化访问控制问题,提出基于信誉值的结构化数据访问控制模型。从系统中的所有主体入手,通过对主体进行信誉值的不断评估,得到一个较为符合的信誉体系,使系统可以通过信誉值的等级来控制访问系统不同程度的隐私数据。该模型主要通过对基本信誉值、累积信誉值和关联信誉值的计算,并采取惩罚机制对非正向行为的主体降低其信誉值,使系统中的信誉值体系符合数据访问控制的要求。通过模拟实验验证了访问控制的有效性。 许浩海 于炯 卞琛 鲁亮 金亮关键词:信誉值 访问控制 隐私数据 隐私保护 基于迭代填充的内存计算框架分区映射算法 被引量:3 2017年 针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法(IFPM)。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法(EPA)和迭代式分区映射算法(IMA),在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。 卞琛 于炯 修位蓉 英昌甜 钱育蓉FP-PSO算法在认知无线电频谱分配上的应用研究 2016年 针对认知无线电频谱分配时分配率低、用户满意度不高的问题,提出了适应值预测的粒子群优化算法(FPPSO),利用FP-PSO算法优化了认知无线电频谱分配过程,设计的适应值预测方法提高了分配效率的同时满足了实时性要求。实验结果表明:FP-PSO算法在降低部分网络效益的同时,获得了比颜色敏感图着色算法(CSGC)更优的用户满意度、平均分配时间和用户公平性。 刘俊霞 卞琛关键词:粒子群算法 认知无线电 频谱分配 嵌入式系统课程教学改革的探索 结合多年的教学实践,对嵌入式系统课程的目标定位、教学内容选择及教学实施等几个方面做了论述,并针对性地提出具体的整改意见。 卞琛 王晓春关键词:嵌入式系统 高等教育 教学改革 教学内容 文献传递 基于并行分配算法的认知无线电频谱分配算法 被引量:1 2017年 针对传统频谱分配方式不合理造成频谱匮乏以及CSGC算法在频谱分配上消耗时间过长影响实时通信的问题,文中提出了一种基于并行分配算法的认知无线电频谱分配算法,其通过同时给各顶点进行上色,从而节省了时间开销。实验证明,并行算法不仅具有与CSGC算法同样的高频谱利用率,且其频谱分配时间开销更低,是一种理想的认知无线电频谱分配算法。 刘俊霞 卞琛关键词:认知无线电 频谱分配