温馨提示

1、列表网提醒您：在交易前请仔细核实商家真实资质！如发现非法商家，欢迎广大网民举报，举报电话：4000-999-800。

2、该信息由列表网网友发布，其真实性及合法性由发布人负责，列表网仅引用以供用户参考，详情请阅读列表网免责条款。

3、在签订合同或相关协议之前，任何要求预付定金、汇款等方式均存在风险，谨防上当受骗！

详情描述

学习如何使用Hadoop 生态系统关键性技术来导入并处理数据

学生将学习关键概念和掌握使用较新技术和工具将数据采集到Hadoop 机群并进行处理。通过学习掌握诸如Spark（包括SparkStreaming 和Spark SQL）、Flume、Kafka 以及Sqoop 这样的Hadoop 生态系统工具和技术，Hadoop 开发员将具备解决实际大数据问题和挑战的能力。使用Spark，不同行业的开发人员可以为不同的商业应用和系统架构编写复杂的并行应用，得以更快速地获取更优的商业决策，帮助决策人员进行及时应对。教学内容通过讲师在课堂上的讲解，以及实操练习，学员将学习以下内容：. 在Hadoop 机群上进行分布式存储和处理数据。. 通在Hadoop 机群上编写、配置和部署Apache Spark 应用。. 使用Spark shell 进行交互式数据分析。. 使用Spark SQL 查询处理结构化数据。. 使用Spark Streaming 处理流式数据。. 使用Flume 和Kafka 为Spark Streaming 采集流式数据。教学对象及学员基础本课程适合于具有编程经验的开发员及工程师。无需ApacheHadoop 基础。. 学习内容中对Apache Spark 的介绍所涉及的代码及练习使用Scala 和Python，因此需至少掌握这两个编程语言中的一种。. 需熟练掌握Linux 命令行。. 对SQL 有基本了解。课程大纲Hadoop 及生态系统介绍 Apache Hadoop 概述 数据存储和摄取 数据处理 数据分析和探索 其他生态系统工具练习环境及分析应用场景介绍Apache Hadoop 文件存储传统大规模系统的问题 HDFS 体系结构 使用HDFS Apache Hadoop 文件格式Apache Hadoop 机群上的数据处理 YARN 体系结构 使用YARN使用Apache Sqoop 导入关系数据Apache Spark 基础