《统计学习方法》的相关学习记录

该篇是记录模块三大数据平台与系统集成相关

该篇学习记录主要是记录和总结极客时间专栏 「数据分析实战45讲」
如何培养 数据思维？

该篇是记录模块三大数据开发实践相关

如何开发一个大数据 SQL 引擎

学习一样技术，如果只是作为学习者，被动接受总是困难的，但如果从开发者的视角看，很多东西就豁然开朗了，明白了原理，有时甚至不需要学习，顺着原理就可以推导出各种实现细节

模块二主要讲的是大数据生态体系主要产品原理与架构

Hive 如何让 MapReduce 实现 SQL 操作

Hive 就是一种工具，自动将 SQL 生成 MapReduce 代码，分析师只需要输入 SQL，然后提交给 Hadoop 执行就可以。

Hive 的执行计划是根据 SQL 语句生成这些函数的 DAG （有向无环图），然后封装进 MapReduce 的 map 和 reduce 函数中，Hive 可实现的计算有聚合（group by）、过滤（where）、连接（join）等操作。

大数据 SQL 引擎：

• Impala：运行在 HDFS 上的MPP架构的 SQL 引擎
• Spark SQL