食品安全spssau数据的融合及分类技术综述(九)

浏览: 作者: 来源: 时间:2019-12-01 分类:论文写作技巧
并行数据挖掘的基础是并行计算。针对食品安全spssau数据(spss论文),使用 Hadoop 平台的 MapReduce 可以实现并行挖掘,MapReduce是Hadoop 的核心部分之一,主要用于处理大量数据集。

4 食品安全spssau数据(spss论文)并行挖掘技术

4.1 并行计算模式

并行数据挖掘的基础是并行计算。针对食品安全spssau数据(spss论文),使用 Hadoop 平台的 MapReduce 可以实现并行挖掘,MapReduce是Hadoop 的核心部分之一,主要用于处理大量数据集。食品安全spssau数据(spss论文)的并行计算模式一般可以理解为两方面内容。首先将顺序执行的计算任务分成可以同时执行的子任务,然后通过并行执行这些子任务从而完成整个计算任务[22]。并行计算模式的实现可以提高食品安全spssau数据(spss论文)计算的速度。在 MapReduce 模型中,程序执行过程主要存在两个核心操作,即:Map 操作和 Reduce操作,Map是对数据进行映射,Reduce 是对数据进行规约[23]。目前,运行 MapReduce 的集群往往由数十台、甚至数百上千台服务器组成,用于处理大规模数据。本站专业提供spss数据分析、stata数据分析和eviews数据分析服务。

5 食品安全spssau数据(spss论文)并行挖掘算法设计

食品安全spssau数据(spss论文)具有海量、高速变化、噪声、结构复杂等特点,对其进行快速准确的分类,是从食品安全spssau数据(spss论文)中提取符合需要的、精炼的、可理解信息的重要方法。分类技术是利用已有的训练样本去训练,从而得到一个最佳模型,再利用这个模型对测试数据进行类别判断从而实现分类的目的,也就具有了对未知数据进行分类的能力。本节主要介绍了几种典型的分类算法并对它们的性能进行简单的比较对于spssau数据(spss论文)分类,朴素贝叶斯分类算法的分类效率比较稳定,尤其对于小规模数据。但是在另一方面,由于食品安全spssau数据(spss论文)规模大,属性之间的关联性比较复杂,因此使用朴素贝叶斯分类算法效果不是太好,应该在考虑部分关联性的基础上对贝叶斯算法做进一步的改进。文献[24]基于粗糙集的可识别矩阵,提出了一种基于属性频率的加权朴素贝叶斯方法;文献[25]结合大样本集的缺点,将泊松分布模型引入到朴素贝叶斯分类算法中,从而提高了分类的精度;文献[26]介绍了代价敏感思想、构造出自适应代价函数,解决了平衡数据分类问题。文献[27]给出了基于 MapReduce 并行化的朴素贝叶斯算法,该方法的核心处理过程

MapReduce 完成, Map 函数完成对训练文件的解析, Reduce 函数完成类别属性和特征属性知识库的构建。 

摘自:食品安全spssau数据的融合及分类技术综述