大数据技术及其在教育领域的应用.docx

大数据技术及其在教育领域的应用  【摘 要】互联网时代的数据正在迅速地膨胀，大数据成为信息技术发展的新热点。本文分析了大数据技术的概念及时代背景，阐述了大数据具有规模巨大、类型多样、产生速度快、价值密度低、存储要求高、管理复杂等特点，在教育领域应用大数据技术有利于革新教育理念和教育思维，实现个性化教育，重新构建教学评价方式，加强学校基于数据的管理，促进教育信息化深入发展。  关键词 教育信息化；大数据技术；应用  【中图分类号】G434 【文献标识码】A  【论文编号】1671-7384（2014）03-0064-03  随着网络信息技术的加速发展和应用，物联网、移动互联、社交网络等大大拓展了互联网的疆界和应用领域，数据正以前所未有的速度在不断地增长和累积，大数据时代的大幕已经开启。大数据在社会经济、政治、文化、生活等各方面产生深远的影响，将给各行各业的发展模式和决策带来前所未有的革新与挑战。教育行业也不例外，教育管理、思维方式、学习行为、教学评估等，无不受到大数据的影响。  大数据的概念及时代背景  大数据是一个正在发展中的概念。到目前为止，学术界对于“大数据”一词还没有准确、统一的定义。著名学者涂子沛在《大数据》一书中指出：“大数据（BigData）是指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、管理和分析的大容量数据，一般以‘以太节’为单位。大数据之大，并不仅仅在于容量之大，更大的意义在于通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来‘大知识’、‘大科技’、‘大利润’和‘大发展’。”最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡全球研究院报告《大数据：创新、竞争和生产力的下一个前沿》则对“大数据”定义如下：大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”可见，大数据就是指蕴涵着巨大价值的、可有效利用的、多样化的海量数据集。  进入2012年以来，世界各国大数据的关注度与日俱增。在2012年1月份的达沃斯世界经济论坛上，大数据是主题之一，并特别针对大数据发布了报告BigData，BigImpact：New Possibilities for InternationalDevelopment ，探讨了新的数据产生方式下，如何更好地利用数据来产生良好的社会效益。2012年3月，美国奥巴马政府投资2亿美元，正式启动“大数据发展计划”，这一计划是美国政府继信息高速公路计划之后在信息科学领域的又一重大举措。同时，联合国一个名为GlobalPulse的倡议项目在2012年5月发布报告《大数据发展：挑战与机遇》，阐述大数据时代各国特别是发展中国家在面临数据洪流时的机遇与挑战，并对大数据的应用进行了初步的解读。目前，一些发达国家、著名研究机构以及大集团公司已将大数据作为获取有效信息和知识的重要来源、调整和部署战略决策的重要依据，大数据技术则成为信息挖掘、整理和分析的重要工具。  大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间。互联网时代的数据正在迅速膨胀，它决定着组织的未来发展，随着时间的推移，人们将越来越意识到数据对组织的重要性。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的知识信息，对大数据的二次开发则是通过大数据创造出新产品和服务。例如，Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。大数据这股汹涌浪潮正在兴起，将给各行各业的发展模式和决策带来前所未有的革新与挑战，教育领域同样不可避免，面临新的挑战和机遇。  大数据的主要特点  大数据时代的数据存在着以下几个主要特点。  规模巨大。个人和组织面临着数据量的大规模增长，呈现为海量数据。典型个人计算机硬盘的容量为TB量级，一些大企业的数据量已经接近EB量级。而根据麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据。2015年全球移动终端产生的数据量将达到6300PB。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。此外，各种意想不到的来源都能产生数据。  类型多样。数据来自多种渠道，如网络日志、社交媒体、互联网搜索、手机通话记录及传感器网等，内容包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。这些实际是多视角的，不仅有正规的数据、媒体新闻数据、时效性的数据，还有带有个人情感的数据。而这些数据又打破了之前限定的结构化数据范畴，包含着结构化、半结构化以及非结构化的数据，并且半结构化和非结构化数据所占份额越来越大。  产生速度快。即数据被创建和移动的速度快，时效性要求高，这是大数据区别于传统数据挖掘最显著的特征。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，快速创建实时数据流已成为流行趋势。如一天之内谷歌公司处理几十PB的数据，Facebook新产生约10亿张照片、300TB以上的日志，淘宝网进行数千万笔交易、产生20TB以上的数据，新浪微博的约3亿用户可产生上亿条微博。  价值密度低。随着物联网的广泛应用，信息感知无处不在，数据信息海量，但其价值密度较低。价值密度的高低与数据总量的大小成反比，大数据中单条数据可能无价值，无用数据多，但综合价值大。例如，视频数据中，1小时的视频中有用的数据可能仅有一两秒钟，其余的可能是无用的数据，价值密度相对较低。因此，如何通过强大的数据挖掘算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。  存储要求高。种类多样的数据源，既提供了大量的数据，又带来了科学存储的问题。大数据通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。当前互联网中的数据向着异质异构、无结构趋势发展，新数据类型不断涌现，用户需求呈现出多样性。目前的存储架构难以解决数据的异质异构、爆炸性增长带来的存储问题，静态的存储方案满足不了数据的动态演化所带来的挑战。因而在海量分布式存储和查询方面仍然需要进一步研究。  管理复杂。大数据的规模和复杂结构是传统IT架构所面临的直接挑战，使得传统的数据管理技术不适合处理海量异构数据。许多公司已经拥有大量的存档数据，却没有能力来处理它。传统的关系数据库无法处理大数据的规模，目前可选择的方法包括大规模并行处理架构、数据仓库，或类似Greenplum的数据库以及ApacheHadoop解决方案等。  大数据在教育领域中的主要应用  1. 革新教育理念和教育思维  随着大数据时代的来临，教育大数据深刻改变着教育理念、教育思维方式。新的时代，教育领域充满了大数据，诸如学生、教师的一言一行，学校里的一切事物，都可以转化为数据。当每个在校学生都能用计算机终端学习时，包括上课、读书、写笔记、做作业、发微博、进行实验、讨论问题、参加各种活动等，这些都将成为教育大数据的来源。大数据比起传统的数字具有深刻的含义和价值。例如，对于一张试卷、一次考试，考试得分为90分，它可以是简简单单的一个传统的数字，但如果换一个角度来分析，把它作为一个数据来看待，就可以得到其背后所隐含的许多充满想象力的数据信息：可以是每一大题的得分，每一小题的得分，每一题选择了什么选项，每一题花了多少时间，是否修改过选项，做题的顺序有没有跳跃，什么时候翻卷子，有没有时间进行检查，检查了哪些题目，修改了哪些题目，等等，这些信息远远比一个90分要有价值得多。不单是考试，课堂、课程、师生互动的各个环节都渗透了这些大数据。教育将不再是靠理念和经验来传承的社会科学，大数据时代的教育将步入实证时代，变成一门实实在在的基于数据的实证科学。大数据使得教育者的思维方式发生了深刻变化，传统的教育大多是教育主管部门和教育者通过教学经验的学习、总结和继承来展开的，但是有些经验是不具有科学性的，常识有时会影响人们的判断。大数据时代将可以通过对教育数据的分析，挖掘出教学、学习、评估等符合学生实际与教学实际的情况，这样就可以有的放矢地制定、执行教育政策，制定出更符合实际的教育教学策略。  2. 实现个性