李晓
- 作品数：2 被引量：8H指数：2
- 供职机构：山东省计算机网络重点实验室更多>>
- 发文基金：国家自然科学基金山东省科技发展计划项目更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于信息损失量的特征选择方法研究及应用被引量：2
- 2016年
- 通过研究特征变量与类变量的信息测度和特征子集与类变量之间信息测度计算方法,实现快速的特征选择。将基于扩展熵的信息损失量测度用于度量类变量之间的相关性。为避免计算联合互信息的复杂计算,提出了基于信息损失量的变量相关度增加量计算方法,在保证新增特征可提供更多信息量前提下,同时提高特征选择的速度。最后对UCI的3种分类数据集进行实例分析,利用支持向量机对选择的特征子集进行分类验证,并将分类结果与其它常用特征选择方法进行了比较。结果表明所提出的特征选择方法比现有的特征选择方法更有效。
- 李钊孙占全孙占全李晓
- 关键词：信息损失互信息
- 一种基于MapReduce的文本聚类方法研究被引量：6
- 2016年
- 在文本聚类中,相似性度量是影响聚类效果的重要因素。常用的相似性度量测度,如欧氏距离、相关系数等,只能描述文本间的低阶相关性,而文本间的关系非常复杂,基于低阶相关测度的聚类效果不太理想。一些基于复杂测度的文本聚类方法已被提出,但随着数据规模的扩展,文本聚类的计算量不断增加,传统的聚类方法已不适用于大规模文本聚类。针对上述问题,提出一种基于MapReduce的分布式聚类方法,该方法对传统K-means算法进行了改进,采用了基于信息损失量的相似性度量。为进一步提高聚类的效率,将该方法与基于MapReduce的主成分分析方法相结合,以降低文本特征向量的维数。实例分析表明,提出的大规模文本聚类方法的聚类性能比已有的聚类方法更好。
- 李钊李晓王春梅李诚杨春
- 关键词：文本聚类MAPREDUCEK-MEANS信息损失
