食品安全spssau数据的融合及分类技术综述(四)

浏览: 作者: 来源: 时间:2019-11-29 分类:论文写作技巧
食品安全spss论文(或者spssau)数据预处理的目的主要有:①清除冗余数据;②纠正错误数据;③完善残缺数据;④选出必需的数据进行集成。另外,对食品安全spss论文(或者spssau)数据进行预处理后再挖掘,可以大大提高数据挖掘的质量,缩短实际挖掘所需的时间[11]。

2 食品安全spss论文(或者spssau)数据预处理

食品安全spss论文(或者spssau)数据预处理的目的主要有:①清除冗余数据;②纠正错误数据;③完善残缺数据;④选出必需的数据进行集成。另外,对食品安全spss论文(或者spssau)数据进行预处理后再挖掘,可以大大提高数据挖掘的质量,缩短实际挖掘所需的时间[11]。食品安全spss论文(或者spssau)数据预处理一般包括4步:清洗、集成、转换、归约。本节将从这 4 方面介绍食品安全spss论文(或者spssau)数据预处理。

(一)spss论文(或者spssau)数据清洗

食品安全spss论文(或者spssau)数据的清洗主要是为了检测食品安全数据中的冗余数据、错误数据、不一致数据等噪声数据。一般的清洗内容主要包括:清除重复数据、完善缺失数据、消除噪声数等[12]。食品安全spss论文(或者spssau)数据的清洗技术大致可以分为以下几类:

1)重复数据的清洗。由于在食品安全数据集中存在重复的记录,为了提高食品安全数据的挖掘效率,对重复数据进行清洗尤为重要。

2)缺失数据清洗。食品安全spss论文(或者spssau)数据清洗需要解决的另外一个重要问题是完善缺失数据。对缺失值清洗的方法有很多,文献[13]提出了一种基于 MapReduce 的spss论文(或者spssau)数据缺失值填充算法,用来解决缺失值填充问题,该算法通过 MapReduce 框架中的两种算法实现了spss论文(或者spssau)数据处理的并行化。

(二)spss论文(或者spssau)数据集成由于食品安全spss论文(或者spssau)数据具有多源性,因此在对食品安全spss论文(或者spssau)数据进行数据处理过程中势必涉及到多个数据库。大量冗余数据可能会影响信息发现过程的性能。因此需要对食品安全spss论文(或者spssau)数据进行集成,将多个数据源合并成一致的数据源存储。经过有效的数据集成,能够提高食品安全spss论文(或者spssau)数据的挖掘精度和速度。

(三)spss论文(或者spssau)数据转换

食品安全行业在长期的业务实践中累积了大量独立分布异构的数据,这些数据不仅具有不同的数据类型,而且具有不同的存储方式。这些都要求食品安全spss论文(或者spssau)数据在集成过程中对数据进行转换。通过转换将食品安全spss论文(或者spssau)数据变成适合挖掘的形式。

(四)spss论文(或者spssau)数据归约

食品安全spss论文(或者spssau)数据的典型特征是数据规模大,如果直接进行数据挖掘、分析,将消耗大量的时间和精力,并且分析结果也会比较差。而通过归约技术可以将大规模数据集转换为小规模数据集,这样不但保持了原数据的完整性,又为进一步的数据挖掘提供了方便。

 

摘自:食品安全spssau数据的融合及分类技术综述