搜索到175篇“ 条件函数依赖“的相关文章
- 基于概率图模型结构学习的条件函数依赖发现
- 2025年
- 条件函数依赖包含了传统的函数依赖,在数据质量管理和数据清洗研究领域有着广泛的应用。一般的方法会发现能够支持关系数据模型的所有条件函数依赖,而实际数据清洗过程中只需使用其中非常少的对错误检测有意义的部分,因此需要一个昂贵的后处理步骤。将条件函数依赖发现问题视为一个借助概率图模型稀疏回归的结构学习过程,通过对脏数据集进行转换,再对转换后的数据集进行逆协方差估计并分解得到自回归矩阵,学习能够表征数据集分布情况的条件函数依赖。实验结果表明,该方法能够有效地发现少量的用于错误检测的条件函数依赖,与常用的条件函数依赖发现方法相比更加有效。
- 江嗣嘉谈子敬
- 关键词：数据质量数据约束条件函数依赖
- 基于图常量条件函数依赖的图修复规则发现
- 2024年
- 数据一致性是数据质量管理的一个重要内容。为了提升图数据一致性,大量关系型数据库中的数据依赖理论被引入到图数据库,包括图函数依赖、图关联规则等。图修复规则是最新提出的一种针对图数据的数据依赖规则,具有强大的修复能力,但目前尚无有效的挖掘算法。为了自动生成图修复规则并提高图数据修复的可靠性,提出一种将图常量条件函数依赖转化为图修复规则的方法(GenGRR)。通过图模式在图中匹配同构子图并映射成节点-属性二维表,从表中相应属性域中抽取错误模式把图常量条件函数依赖转化成图属性值修复规则;删去图模式中常量条件函数依赖RHS对应的节点与相连边生成图属性补充规则。基于最大公共同构子图筛选并验证生成图修复规则的一致性。在多个真实数据集上进行测试,验证相比图常量条件函数直接修复图数据,通过转化生成的图修复规则具有更好的修复效果。
- 李杰李杰王保卫王保卫
- 关键词：数据一致性数据质量子图同构
- 基于常量条件函数依赖的冲突消解算法
- 2020年
- 目前绝大部分冲突消解方法都是基于迭代计算数据源可靠度和事实可信度的机制。当数据源较少时,数据源的可靠度难于进行评估,仅凭投票来消解冲突往往会造成较大误差。针对数据源较少时的冲突消解问题,提出基于常量条件函数依赖的冲突消解算法。根据多个数据源之间的冲突,找出冲突匹配对及对应的冲突候选值集合。考虑常量条件函数依赖中具体到部分实例子集的约束关系,将常量条件函数依赖集作为先验知识,通过判断候选值是否符合常量条件函数依赖来选择正确的候选值,避免了错误数据比例较大时直接投票选择产生的误差。通过两个真实数据集上的对比实验验证了上述算法的有效性。
- 冯钦曹建军郑奇斌张磊
- 关键词：数据清洗数据质量数据冲突冲突消解
- 基于条件函数依赖的FastCFD算法研究与应用
- 2018年
- 利用条件函数依赖能有效地对数据库进行检测和修复。但是面对大量且复杂的数据时,传统的条件函数依赖算法存在检测和修复速率慢,查找效率低等问题。以水利普查数据为研究对象,利用其复杂且庞大的特点,在原有的算法上引入一致集简化计算差集的过程,并根据深度优先的搜索策略搜索属性集的最小覆盖。改进后的算法相比传统的挖掘算法在保证搜索质量的前提下加快了搜索速率,并提高了复杂数据的挖掘效率。
- 谭黎龙万定生钱振兴
- 关键词：搜索算法条件函数依赖水利普查
- 基于条件函数依赖的CTANE算法研究与应用被引量：1
- 2017年
- 针对复杂庞大有研究价值的数据,查找其中蕴含的条件函数依赖可以有效地利用这些有价值的数据。但现有的条件函数依赖搜索算法在面对庞大的数据时查找效率较慢,所以对现有的算法的改进意义重大。针对水利普查数据的特点对查找条件函数依赖的算法进行了改进,在原有算法的基础上加入了剪枝策略。实验和理论证明,改进后的算法相比传统的搜索算法在保证搜索质量的前提下加快了搜索速度,使得查找数据中的条件函数依赖更加快捷便利。
- 毛燠锋钱振兴万定生朱跃龙
- 关键词：条件函数依赖搜索算法水利普查剪枝策略
- 基于开项集剪枝的常量条件函数依赖挖掘被引量：1
- 2016年
- 为了减小常量条件函数依赖的搜索空间,提高挖掘效率,针对常量条件函数依赖挖掘算法CFDMiner,提出了一系列剪枝优化策略。理论研究发现,CFDMiner的输入——关系数据的全部开项集和闭项集对产生有效的常量条件函数依赖仍然存在很多无效、冗余的项集。从理论上证明了通过合理剪枝,选取开项集的子集与对应的闭项集,能够得到与原算法一致的结果。实验表明：相比原始算法CFDMiner,优化后的算法搜索空间更小,实际数据集上平均挖掘效率提高4~5倍。
- 周金陵刁兴春曹建军
- 关键词：条件函数依赖函数依赖闭项集剪枝
- 基于关联规则的条件函数依赖发现及数据修复被引量：5
- 2016年
- 大数据时代,数据的来源复杂,数据质量存在严重问题,有些数据不准确、缺失或存在错误。不正确的数据严重影响了数据挖掘的质量,给决策造成重大的影响。关于缺失数据的修复方法很多,其中条件函数依赖就是一个有效的方法,在如何发现条件函数依赖方面已经有了很多研究成果。提出一种应用关联规则构建条件函数依赖的方法,由于关联规则通过数据挖掘得到,具有一定的隐蔽性,不是一般的方法能够发现,所以,由关联规则构建的条件函数依赖具有一定的应用价值,给出了构建方法,并通过实验证明其有效性。
- 张春生图雅翁慧李艳魏国利
- 关键词：关联规则条件函数依赖一致性数据修复大数据缺失数据
- 基于内容相关的条件函数依赖的一致性清洗方法被引量：1
- 2016年
- 基于条件函数依赖提出了一种内容相关的条件函数依赖,并给出基于内容相关的条件函数依赖的一致性清洗方法.通过分析条件函数依赖之间的关系,将相关联的条件函数依赖合并组成内容相关的条件函数依赖.内容相关的条件函数依赖可以检测多条件值下的数据一致性问题并提供可用于一致性修复的参考值.同时,提出了一种一致性修复的代价模型.模型参考内容相关的条件函数依赖对应元组的实际情况进行修复,实现代价最优,同时保证数据一致性.通过在两组真实数据集上进行试验测试,证明提出的基于内容相关的条件函数依赖的一致性清洗方法能够准确地检测数据的一致性问题并加以修复.
- 杜岳峰申德荣张亮于戈
- 关键词：数据清洗条件函数依赖数据一致性
- 基于内容相关的条件函数依赖的数据一致性维护技术研究
- 数据一致性是数据质量管理的一项重要内容，描述了实体信息的可用性和正确性。但是，现实生活中的不一致数据通常是不可避免的，并且广泛地存在于金融、医疗、统计等各项活动之中。不一致数据会引发语义上的歧义，造成经济和财产上的损失，...
- 杜岳峰
- 关键词：关联数据数据一致性数据清洗
- 文献传递
- 条件函数依赖的增量计算
- 2015年
- 条件函数依赖是对传统函数依赖的扩展,它通过引入条件模式,使其语义比函数依赖更精确、表达能力更强。然而,条件函数依赖的计算需要消耗较多的时间,为了提高条件函数依赖挖掘的效率,研究了条件函数依赖增量维护方法。针对数据集增加、删除、修改3种情况分别分析了条件函数依赖集变化规律,提出了条件函数依赖的增量计算算法,从而能够在数据库变化情况下,高效、动态地维护条件函数依赖。同时,在理论上对算法中关键步骤的正确性进行了论证,并通过实验验证了算法的有效性。
- 刘波周健昌
- 关键词：条件函数依赖数据挖掘
相关作者
- 万定生
- 作品数：283被引量：566H指数：12
- 供职机构：河海大学
- 研究主题：水文时间序列 水文 时间序列 水文数据 水利普查
- 周健昌
- 作品数：6被引量：12H指数：2
- 供职机构：暨南大学
- 研究主题：条件函数依赖 数据挖掘 数据清洗 函数依赖 数据库
- 刘波
- 作品数：32被引量：196H指数：8
- 供职机构：暨南大学信息科学技术学院
- 研究主题：数据挖掘 数据质量 群体智能 条件函数依赖 蚁群优化
- 邹磊
- 作品数：55被引量：287H指数：6
- 供职机构：北京大学
- 研究主题：查询 查询方法 知识库 路径查询 资源描述框架
- 赵东岩
- 作品数：87被引量：123H指数：7
- 供职机构：北京大学
- 研究主题：文本 知识库 知识库构建 词语 查询方法
