大数据基础课程设计创建思路

大数据基础课程设计创建思路

摘要：设计构建了《大数据基础》通识基础课程，课程介绍了大数据的基本概念、特点与大数据引起的时代变革，以及相关的数据处理平台方法和大数据挖掘技术，并通过实际案例讲述大数据在日常生活和各个行业中的应用。通过该课程，可使学生对大数据时代及大数据应用有一定了解，并能进一步延伸思考本专业领域的大数据应用发展方向及前景。

关键词：大数据；数据挖掘；大数据处理；大数据平台；大数据案例

０引言

随着互联网的飞速发展，企业计算、云计算、物联网等各种应用的涌现，“大数据”应运而生［１］。２１世纪已迈入了“大数据时代”。作为大数据时代的人才，了解大数据时代特点，掌握大数据处理的基本方法，了解各行业使用大数据将造成的社会变革，已成为２１世纪市场对人才的需求。大数据是未来发展的趋势，大数据课程的开设，有助于培养出符合市场发展和企业需求的２１世纪创新型人才，而国内现有的高校人才培养和课程体系中缺少面向高校所有专业开设的大数据基础课程。如何设计和构建面向高校所有专业的《大数据基础》课程是本文研究的主旨。

１国内外大数据相关课程现状调查分析

目前，国外有多所高校开设了大数据方向专业课程，如波士顿大学、北卡罗莱纳州立大学、德保罗大学等。课程的开设与人才培养的侧重点紧密相关，主要分为３个方向：面向商学院、管理学院、财经学院的大数据分析方向，面向计算机学院与软件学院的大数据平台方向，面向理学院的深度计算分析方向［２］。在国外，大数据相关课程主要以课程

体系的形式开设，重在以项目的形式培养学生实践动手能力和使用大数据技术解决问题的能力。近年来陆续有国内高校在计算机学院、软件学院等开设针对研究生的大数据专业方向课程。２０１４年，西安电子科技大学开设大数据技术与应用专业硕士方向；２０１３年，北京航空航天大学成立了“大数据技术与应用”软件工程硕士项目；２０１２年，西安交通大学软件学院建立了以大数据系列课程作为专业必选课、针对研究生的业务分析系；２０１１年，北京交通大学软件学院建立了研究生信息管理专业［２］。国内针对本科生的大数据相关课程开设较少。清华大学在本科培养方案中开设了专业限选课“云数据管理”；部分国内高校也开设了与大数据相关的课程，如“存储技术”、“数据挖掘”与“分布式编程和数据处理”等，但课程仅在计算机学院、软件学院等学院内部作为专业限选课或选修课开放。可以看到，随着大数据时代的到来，国内高校开始逐步开设大数据相关专业方向，并建设大数据专业课程。然而，大数据作为各行各业都需要使用的技术，是各行业人才都需要了解和掌握的。目前，国内鲜有高校面向全校本科生开设《大数据基础》课程。

２课程构建思路

根据社会各行业对人才在大数据方面的知识储备需求，学校设计构建了面向全校各专业本科生开设的《大数据基础》课程。在广泛调研了解社会各行业大数据处理及应用的基础上，在构建《大数据基础》课程内容中遵循以下３点思路：（１）不同行业的大数据均具有相同的数据类型和特点，只是数据的表现形式和使用方式不同。因此，课程需要介绍大数据的基本概念和特点，以及各行业使用大数据对时代的影响和变革。（２）大数据要发挥作用，其核心在于对大数据的处理，包括数据处理平台和数据处理方法。传统的数据处理平台和处理方式很多不适用大数据的处理，大数据有其特有处理方式。因此，大数据的处理是本课程讲授的核心和重点。（３）《大数据基础》作为面向各个专业的通识基础课程，为了提升学生对课程的理解能力与学习兴趣，需要通过对多个行业大数据应用案例

进行讲述，以帮助其深入了解大数据的数据类型、应用处理方法和过程等，并对大数据时代产生进一步深入认知。

３课程构建思路

３．１课程内容设计

在第一章中，主要介绍大数据时代的产生、大数据的概念特点，大数据时代到来对社会生活产生的影响、引发的行业变革，以及在大数据时代来临之时，新的问题和挑战的提出。在这一章的介绍中，大数据的概念特点是基础，由此引起的社会变革是现象，需要学生们通过讨论进一步深入理解；新挑战的提出为学生们开辟了广阔的视角，有助于帮助他们根据时代需求确定学习研究的方向和对自身的培养规划。要从大数据中提取有价值的信息，需要对数据进行信息挖掘。第二章中首先介绍数据挖掘的概念，然后详细介绍数据预处理的方法流程和数据挖掘的主要方法，最后结合案例介绍大数据挖掘的实际应用。在案例选取中，使用了亚马逊推荐系统、谷歌翻译系统，以及上海外滩踩踏事件等有代表性的案例进行大数据挖掘的讲解，以帮助学生们理解大数据挖掘的方法、特点和应用价值。大数据的处理分实时流处理和静态分析处理两大类。在第三章中，结合案例介绍了大数据流处理和静态分析处理的平台和技术。大数据静态分析处理平台重点介绍了Ｈａｄｏｏｐ平台，大数据实时流处理技术重点介绍技术原理和方案。这一章主要介绍大数据的处理方法，给学生们建立一个基本的概念框架。案例使用城市洪涝灾害分析预警平台，介绍静态数据分析处理和流数据分析处理在同一行业中的不同应用，以帮助学生们理解两种数据处理的特点和应用领域。作为面向全校的本科生通识课程，希望学生们能够通过本门课程了解大数据处理分析在社会生活各方面的应用前景，并结合各专业的应用需求分析及展望未来大数据在本专业的应用发展。因此，需要在课程中充分开拓学生们的视野，广泛地介绍各行业案例。第四章大数据应用及案例分析重点介绍了智慧城市、舆情分析、阿里大数据处理

以及ＦａｃｅＢｏｏｋ脸谱网大数据处理案例。

３．２授课方法设计

课程各章节内容充分使用案例，深入浅出地进行讲解。由于各专业学生的知识储备不同，作为通识基础课程，只有充分引入各行业案例，才能既激发学生学习兴趣，又帮助学生掌握各个知识点。充分引入学生自主讨论机制。在大数据的数据类型、大数据预处理方式、大数据挖掘方法、大数据静态处理分析、大数据实时流处理等知识点的讲授中，先介绍基础概念，然后要求学生们针对自己本专业的大数据应用领域进行广泛讨论。

４实施及效果

《大数据基础》课程于２０１５年春季学期面向全校本科生开课。学生来自经济学院、新闻与传播学院、管理学院、社会学系、水电与数字化工程学院、计算机科学与技术学院、软件学院、船舶与海洋工程学院等多个学院。学生们普遍反映，通过该课程，对大数据时代及大数据应用有了一定了解，并能进一步延伸思考本专业领域的大数据应用发展方向及前景。

５结语

大数据技术对人们的工作和生活造成了巨大影响，是当前计算机领域的研究热点。本课程从大数据技术对日常社会、生活、工作的影响入手，深入浅出地介绍大数据的基本概念、相关的数据处理方法和数据挖掘技术，并通过实际案例讲述大数据在日常生活与各行业中的应用。通过本课程的学习，有助于提高学生们的大数据应用能力，为未来应用、研究和创新创造更多机会。

参考文献：

［１］孟小峰，慈祥．大数据管理：概念、技术与挑战［Ｊ］．计算机研究与发展，２０１３（１）：１４６－１６９．

［２］张晓芳，王芬，黄晓涛．国内外大数据课程体系与专业建设调查研究［Ｃ］．ＩＣＥＭＳＳ２０１５，２０１５．

［３］施利萍，张应辉，罗阿玲，等．大数据产业及其发展机遇［Ｊ］．软件导刊，２０１５，１４（７）：５－７．

［４］曾雷．大数据研究综述［Ｊ］．软件导刊，２０１５，１４（８）：１－２．