DA 大数据分析师的课程让我对“大数据”这个概念有了更为具体的认识。以往对于“大数据”,我的认知还是仅仅停留在概念层面上。而上完课后,尤其是了解如何搭建Hadoop平台以及其生态环境之后,“大数据”这个概念终于落地了。
Hadoop的核心框架是Hdfs和MapReduce。Hdfs是分布式文件系统,其主要作用是存储及读取数据。而MapReduce实际上是Hadoop工作的核心思想。任何想要在Hadoop集群上完成的算法都必须基于MapReduce的思想实现。因此,我认为想要学习Hadoop,其核心在于充分理解MapReduce。而同时,MapReduce的理解也是理解大数据分析思想的关键,即如何将庞大的数据分解成可以进行操作的小数据集。