Hadoop 核心组件课程

讲师介绍

孟硕,恩墨学院大数据产品总监,金牌讲师

曾任职于 Oracle 甲骨文软件研究开发中心,负责 Oracle RAC 与操作系统优化,擅长利用MDB DTrace 剖析系统原理,解决系统适配的诸多问题。同时在 Oracle 解决方案中心担任 Oracle Big Data Appliance 咨询工作。取得国际商业大数据领导公司 Cloudera ACTP 认证讲师资质。加入 Oracle 之前,曾任职于中科红旗(RedFlag-Linux)操作系统服务器组,负责安全,虚拟化产品自动化 QE。在此之前供职于 国软检测中心的开源软件实验室,自此开始基础软件的研究。

授课特点:能够结合十余年的丰富操作系统、数据库以及大数据的经验,从原理层展示大数据的运用之妙。作为资深键盘侠、手敲党,能结合自身庞大的知识储备,将课程中的诸多难点消化于指尖之上,绝对让学员收获于课程之外。

获得认证:Oracle OCM

          Cloudera Certified Administrator for Apache Hadoop (CCAH)

      Cloudera ACTP 认证讲师。


大数据Hadoop核心组件课程大纲

Hadoop 分布式文件系统:HDFS 概述

Hadoop 分布式文件系统:HDFS 概述

分布式文件系统究竟是什么

HDFS 起源以及与 Linux 文件系统的对比

HDFS 体系结构与运行机制

实践:HDFS 与本地文件系统操作对比

Hadoop 分布式文件系统:HDFS 进阶

HDFS 存储思路:数据与元数据分开存储

HDFS 元数据节点:namenode 以及 数据节点:datanode

HDFS 心跳原理剖析

HDFS 元数据的元数据 fsimage 与日志 edit_log

实践:HDFS 元数据 checkpoint 过程

HDFS 的数据块结构

    HDFS 应用程序接口API

    将结构化数据从传统关系型数据库数据导入:Sqoop 组件

实践:利用 sqoop 做全库导入 HDFS

将非机构化数据导入大数据平台:Flume 组件

实践:搭建简易 Web 服务器,并模拟用户访问产生日志,利用 Flume Web 服务器日志实时导入 HDFS

Hadoop 分布式计算框架 - MapReduce 概述

什么是分布式计算

什么是函数式编程思想与 MapReduce 起源

MapReduce 计算框架概述

实践:执行一个 MapReduce 程序

本是同根生:YARN MapReduce

YARN 与其它计算框架 Spark

YARN 资源调度过程解析

Hadoop 分布式计算框架 - MapReduce 进阶

MapReduce 关键过程:Partitioner

实践:实现自定义 Partitioner

    MapReduce 关键过程:Shuffle Sort

    MapReduce 的缺陷与分布式缓存 Distribute Cache

实践:动手写你的第一个MapReduce 程序,利用它分析 HDFS 上的文件

Hadoop 集群的规划与搭建

部署 Hadoop 集群之前要考虑的几件事

集群节点的硬件选择

集群节点的软件选择

规划一个可扩展的集群

初始化配置与 Linux 内核参数调整

实践:调整与 Hadoop 相关的 Linux 内核参数

大规模部署:操作系统安装 kickstart + PXE

Hadoop 集群搭建进阶

Hadoop 集群资源管理:调度器

实现 Hadoop 集群的多租户架构

图形化管理工具

实践1:搭建多节点 Hadoop 集群,开启 HDFSYARN MapReduce 服务

实践2:配置实现 Hadoop 多租户架构,用多用户提交 MapReduce 作业验证

Hadoop 集群的高级配置

高级配置参数详解

实践:在集群中查找参数并修改参数的默认值

配置 Hadoop HDFS 高可用环境 HA

资源协调器:Apache Zookeeper 组件介绍

Zookeeper 选举算法:Paxos算法

实践:Zookeeper HA 环境中的作用

Hadoop 性能调优

HDFS 组件性能调优:数据平衡

实践:HDFS 数据节点的数据平衡

l YARN / MapReduce 组件性能调优

实践:MapReduce 内存选项调整

实践:一次集群故障的诊断

恩墨学院Hadoop 核心组件课程

联系我们

  • 全国统一咨询热线:400-660-8755
  • QQ咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
  • QQ群咨询:279589917
  • 邮箱:training@enmotech.com
  • 联系人:黄老师