失效链接处理 |
《Hadoop技术内q:(x)深入解析MapReduce架构设计与实现原理》PDF 下蝲
转蝲自:(x)https://download.csdn.net/download/singgel/10629200
下蝲地址Q?/strong>
版权归出版社和原作者所有,链接已删除,误买正?/b>
?sh)子版仅供预览,支持正版Q喜Ƣ的误买正版书c:(x)《Hadoop技术内q:(x)深入解析MapReduce架构设计与实现原理?/a>
图书介:(x)
“Hadoop技术内q?rdquo;׃册,分别从源代码的角度对“Common+HDFS”?ldquo;MapReduce的架构设计和实现原理”q行?jin)极l的分析。《Hadoop技术内q:(x)深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执W,首先介绍?jin)MapReduce的设计理念和~程模型Q然后从源代码的角度深入分析?jin)RPC框架、客L(fng)、JobTracker、TaskTracker和Task{MapReduceq行时环境的架构设计与实现原理,最后从实际应用的角度深入讲解了(jin)Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架{高U主题和内容。本书适合Hadoop的二ơ开发h员、应用开发工E师、运l工E师阅读?/span>
相关截图Q?br />
![]()
图书目录Q?/strong>
前言 W一部分 基础?/span> W?章 阅读源代码前的准?/span> 1.1 准备源代码学?fn)环?/span> 1.1.1 基础软g下蝲 1.1.2 如何准备Windows环境 1.1.3 如何准备Linux环境 1.2 获取Hadoop源代?/span> 1.3 搭徏Hadoop源代码阅ȝ?/span> 1.3.1 创徏Hadoop工程 1.3.2 Hadoop源代码阅L?/span> 1.4 Hadoop源代码组l结?/span> 1.5 Hadoop初体?/span> 1.5.1 启动Hadoop 1.5.2 Hadoop Shell介绍 1.5.3 Hadoop Eclipse插g介绍 1.6 ~译?qing)调试Hadoop源代?/span> 1.6.1 ~译Hadoop源代?/span> 1.6.2 调试Hadoop源代?/span> 1.7 结 W?章 MapReduce设计理念与基本架?/span> 2.1 Hadoop发展?/span> 2.1.1 Hadoop产生背景 2.1.2 Apache Hadoop新版本的Ҏ(gu)?/span> 2.1.3 Hadoop版本变迁 2.2 Hadoop MapReduce设计目标 2.3 MapReduce~程模型概述 2.3.1 MapReduce~程模型?/span> 2.3.2 MapReduce~程实例 2.4 Hadoop基本架构 2.4.1 HDFS架构 2.4.2 Hadoop MapReduce架构 2.5 Hadoop MapReduce作业的生命周?/span> 2.6 结 W二部分 MapReduce~程模型?/span> W?章 MapReduce~程模型 3.1 MapReduce~程模型概述 3.1.1 MapReduce~程接口体系l构 3.1.2 新旧MapReduce API比较 3.2 MapReduce API基本概念 3.2.1 序列?/span> 3.2.2 Reporter参数 3.2.3 回调机制 3.3 Java API解析 3.3.1 作业配置与提?/span> 3.3.2 InputFormat接口的设计与实现 3.3.3 OutputFormat接口的设计与实现 3.3.4 Mapper与Reducer解析 3.3.5 Partitioner接口的设计与实现 3.4 非Java API解析 3.4.1 Hadoop Streaming的实现原?/span> 3.4.2 Hadoop Pipes的实现原?/span> 3.5 Hadoop工作?/span> 3.5.1 JobControl的实现原?/span> 3.5.2 ChainMapperChainReducer的实现原?/span> 3.5.3 Hadoop工作引?/span> 3.6 结 W三部分 MapReduce核心(j)设计?/span> W?章 Hadoop RPC框架解析 4.1 Hadoop RPC框架概述 4.2 Java基础知识 4.2.1 Java反射机制与动态代?/span> 4.2.2 Java|络~程 4.2.3 Java NIO 4.3 Hadoop RPC基本框架分析 4.3.1 RPC基本概念 4.3.2 Hadoop RPC基本框架 4.3.3 集成其他开源RPC框架 4.4 MapReduce通信协议分析 4.4.1 MapReduce 通信协议概述 4.4.2 JobSubmissionProtocol通信协议 4.4.3 InterTrackerProtocol通信协议 4.4.4 TaskUmbilicalProtocol通信协议 4.4.5 其他通信协议 4.5 结 W?章 作业提交与初始化q程分析 5.1 作业提交与初始化概述 5.2 作业提交q程详解 5.2.1 执行Shell命o(h) 5.2.2 作业文g上传 5.2.3 产生InputSplit文g 5.2.4 作业提交到JobTracker 5.3 作业初始化过E详?/span> 5.4 Hadoop DistributedCache原理分析 5.4.1 使用Ҏ(gu)介绍 5.4.2 工作原理分析 5.5 结 W?章 JobTracker内部实现剖析 6.1 JobTracker概述 6.2 JobTracker启动q程分析 6.2.1 JobTracker启动q程概述 6.2.2 重要对象初始?/span> 6.2.3 各种U程功能 6.2.4 作业恢复 6.3 ?j)蟩接收与应{?/span> 6.3.1 更新状?/span> 6.3.2 下达命o(h) 6.4 Job和Taskq行时信息维?/span> 6.4.1 作业描述模型 6.4.2 JobInProgress 6.4.3 TaskInProgress 6.4.4 作业和Q务状态{换图 6.5 定w机制 6.5.1 JobTracker定w 6.5.2 TaskTracker定w 6.5.3 JobTask定w 6.5.4 Record定w 6.5.5 盘定w 6.6 d推测执行原理 6.6.1 计算模型假设 6.6.2 1.0.0版本的算?/span> 6.6.3 0.21.0版本的算?/span> 6.6.4 2.0版本的算?/span> 6.7 Hadoop资源理 6.7.1 d调度框架分析 6.7.2 d选择{略分析 6.7.3 FIFO调度器分?/span> 6.7.4 Hadoop资源理优化 6.8 结 W?章 TaskTracker内部实现剖析 7.1 TaskTracker概述 7.2 TaskTracker启动q程分析 7.2.1 重要变量初始?/span> 7.2.2 重要对象初始?/span> 7.2.3 q接JobTracker 7.3 ?j)蟩机?/span> 7.3.1 单次?j)蟩发?/span> 7.3.2 状态发?/span> 7.3.3 命o(h)执行 7.4 TaskTracker行ؓ(f)分析 7.4.1 启动CQ?/span> 7.4.2 提交d 7.4.3 杀MQ?/span> 7.4.4 杀M?/span> 7.4.5 重新初始?/span> 7.5 作业目录理 7.6 启动CQ?/span> 7.6.1 d启动q程分析 7.6.2 资源隔离机制 7.7 结 W?章 Taskq行q程分析 8.1 Taskq行q程概述 8.2 基本数据l构和算?/span> 8.2.1 IFile存储格式 8.2.2 排序 8.2.3 Reporter 8.3 Map Task内部实现 8.3.1 Map Task整体程 8.3.2 Collectq程分析 8.3.3 Spillq程分析 8.3.4 Combineq程分析 8.4 Reduce Task内部实现 8.4.1 Reduce Task整体程 8.4.2 Shuffle和Merge阶段分析 8.4.3 Sort和Reduce阶段分析 8.5 MapReduce Task优化 8.5.1 参数调优 8.5.2 pȝ优化 8.6 结 W四部分 MapReduce高?/span> W?章 Hadoop性能调优 9.1 概述 9.2 从管理员角度q行调优 9.2.1 g选择 9.2.2 操作pȝ参数调优 9.2.3 JVM参数调优 9.2.4 Hadoop参数调优 9.3 从用戯度进行调?/span> 9.3.1 应用E序~写规范 9.3.2 作业U别参数调优 9.3.3 dU别参数调优 9.4 结 W?0章 Hadoop多用户作业调度器 10.1 多用戯度器产生背景 10.2 HOD 10.2.1 Torque资源理?/span> 10.2.2 HOD作业调度 10.3 Hadoop队列理机制 10.4 Capacity Scheduler实现 10.4.1 Capacity Scheduler功能介绍 10.4.2 Capacity Scheduler实现 10.4.3 多层队列调度 10.5 Fair Scheduler实现 10.5.1 Fair Scheduler功能介绍 10.5.2 Fair Scheduler实现 10.5.3 Fair Scheduler与Capacity SchedulerҎ(gu) 10.6 其他Hadoop调度器介l?/span> 10.7 结 W?1章 Hadoop安全机制 11.1 Hadoop安全机制概述 11.1.1 Hadoop面(f)的安全问?/span> 11.1.2 Hadoop对安全方面的需?/span> 11.1.3 Hadoop安全设计基本原则 11.2 基础知识 11.2.1 安全认证机制 11.2.2 Kerberos介绍 11.3 Hadoop安全机制实现 11.3.1 RPC 11.3.2 HDFS 11.3.3 MapReduce 11.3.4 上层服务 11.4 应用场景ȝ 11.4.1 文g存取 11.4.2 作业提交与运?/span> 11.4.3 上层中间件访问Hadoop 11.5 结 W?2章 下一代MapReduce框架 12.1 W一代MapReduce框架的局限?/span> 12.2 下一代MapReduce框架概述 12.2.1 基本设计思想 12.2.2 资源l一理q_ 12.3 Apache YARN 12.3.1 Apache YARN基本框架 12.3.2 Apache YARN工作程 12.3.3 Apache YARN设计l节 12.3.4 MapReduce与YARNl合 12.4 Facebook Corona 12.4.1 Facebook Corona基本框架 12.4.2 Facebook Corona工作程 12.4.3 YARN与CoronaҎ(gu) 12.5 Apache Mesos 12.5.1 Apache Mesos基本框架 12.5.2 Apache Mesos资源分配 12.5.3 MapReduce与Mesosl合 12.6 结 附录A 安装Hadoopq程中可能存在的问题?qing)解x(chng)?/span> 附录B Hadoop默认HTTP端口号以?qing)HTTP地址 参考资?/span> |