5.3 数据的分析 学案.doc

第二十四讲  数据的分析 学习目标 1.了解数据分析的基本方法； 2.学会选用恰当工具处理数据。 学习内容 数据分析就是在一大批杂乱无章的数据中，运用数字化工具和技术，探索数据内在的结构和规律，构建数学模型，并进行可视化表达，通过验证将模型转化为知识，为诊断过去、预测未来发挥作用。数据分析一般包括特征探索、关联分析、聚类与分类、建立模型和模型评价等。 特征探索 数据特征探索的主要任务是对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。 关联分析 关联分析就是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。关联分析的基本算法如下： (1)扫描历史数据，并对每项数据进行频率次数统计。 (2)构建候选项集C1，并计算其支持度，即数据出现频率次数与总数的比。 (3)对候选项集的支持度进行筛选，筛选的数据项支持度应当不小于最小支持度，从而形成频繁项集L1。 (4)对频繁项集L2进行连接生成候选项集C2，重复上述步骤，最终形成频繁K项集或者最大频繁项集。  聚类分析 聚类分析是一种探