《Hadoop技术内q：深入解析Hadoop Common和HDFS架构设计与实现原理》PDF 下蝲
转蝲自：https://download.csdn.net/download/weixin_37662589/10308231
下蝲地址Q?/strong>
版权归出版社和原作者所有，链接已删除，误买正?/b>
图书介：
“Hadoop技术内q?rdquo;׃册，分别从源代码的角度对“Common+HDFS”和MapReduce的架构设计和实现原理q行了极l的分析。《Hadoop技术内q：深入解析HadoopCommon和HDFS架构设计与实现原理》由腾讯数据q_的资深Hadoop专家、X-RIME的作者亲自执W，对Common和HDFS的源代码q行了分析，旨在为Hadoop的优化、定制和扩展提供原理性的指导。除此之外，本书q从源代码实C对分布式技术的_N、分布式pȝ设计的优U思想和方法，以及Java语言的编码技巧、编E规范和对设计模式的_֦q用q行了ȝ和分析，Ҏ(gu)高读者的分布式技术能力和Java~程能力都非常有帮助。本书适合Hadoop的二ơ开发h员、应用开发工E师、运l工E师阅读?/span>
全书9章，共分Z个部分：W一部分Q第1章）主要介绍了Hadoop源代码的获取和源代码阅读环境的搭建；W二部分Q第2~5章）对Hadoop公共工具Common的架构设计和实现原理q行了深入分析，包含Hadoop的配|信息处理、面向v量数据处理的序列化和压羃机制、Hadoop的远E过E调用，以及满Hadoop上各cd用访问数据的Hadoop抽象文gpȝ和部分具体文件系l等内容Q第三部分（W?~9章）对Hadoop的分布式文gpȝHDFS的架构设计和实现原理q行了详l的分析Q这部分内容采用了dȝl构Q第6章对HDFS的各个实体和实体间接口进行了分析Q第7章和W?章分别详l地研究了数据节点和名字节点的实现原理，q过W?章对客户端的解析Q回了HDFS各节炚w的配合，完整Cl了一个大规模数据存储pȝ的实现?/span>
相关截图Q?br />
图书目录Q?/strong>
前 a
W一部分 环境准备
W?章 源代码环境准?br />
1.1 什么是Hadoop
1.1.1 Hadoop?br />
1.1.2 Hadoop的优?br />
1.1.3 Hadoop生态系l?br />
1.2 准备源代码阅ȝ?br />
1.2.1 安装与配|JDK
1.2.2 安装Eclipse
1.2.3 安装辅助工具Ant
1.2.4 安装cUNIX Shell环境Cygwin
1.3 准备Hadoop源代?br />
1.3.1 下蝲Hadoop
1.3.2 创徏Eclipse目
1.3.3 Hadoop源代码组l?br />
1.4 结
W二部分 Common的实?br />
W?章 Hadoop配置信息处理
2.1 配置文g?br />
2.1.1 Windows操作pȝ的配|文?br />
2.1.2 Java配置文g
2.2 Hadoop Configuration详解
2.2.1 Hadoop配置文g的格?br />
2.2.2 Configuration的成员变?br />
2.2.3 资源加蝲
2.2.4 使用get*和set*讉K讄配置?br />
2.3 Configurable接口
2.4 结
W?章 序列化与压羃
3.1 序列?br />
3.1.1 Java内徏序列化机?br />
3.1.2 Hadoop序列化机?br />
3.1.3 Hadoop序列化机制的特征
3.1.4 Hadoop Writable机制
3.1.5 典型的Writablec详?br />
3.1.6 Hadoop序列化框?br />
3.2 压羃
3.2.1 Hadoop压羃?br />
3.2.2 Hadoop压羃API应用实例
3.2.3 Hadoop压羃框架
3.2.4 Java本地Ҏ(gu)
3.2.5 支持Snappy压羃
3.3 结
W?章 Hadoopq程q程调用
4.1 q程q程调用基础知识
4.1.1 RPC原理
4.1.2 RPC机制的实?br />
4.1.3 Javaq程Ҏ(gu)调用
4.2 Java动态代?br />
4.2.1 创徏代理接口
4.2.2 调用转发
4.2.3 动态代理实?br />
4.3 Java NIO
4.3.1 Java基本套接?br />
4.3.2 Java NIO基础
4.3.3 Java NIO实例Q回显服务器
4.4 Hadoop中的q程q程调用
4.4.1 利用Hadoop IPC构徏单的分布式系l?br />
4.4.2 Hadoop IPC的代码结?br />
4.5 Hadoop IPCq接相关q程
4.5.1 IPCq接成员变量
4.5.2 建立IPCq接
4.5.3 数据分和读?br />
4.5.4 l护IPCq接
4.5.5 关闭IPCq接
4.6 Hadoop IPCҎ(gu)调用相关q程
4.6.1 Java接口与接口体
4.6.2 IPCҎ(gu)调用成员变量
4.6.3 客户端方法调用过E?br />
4.6.4 服务器端Ҏ(gu)调用q程
4.7 Hadoop IPC上的其他辅助q程
4.7.1 RPC.getProxy()和RPC.stopProxy()
4.7.2 RPC.getServer()和Server的启?br />
4.8 结
W?章 Hadoop文gpȝ
5.1 文gpȝ
5.1.1 文gpȝ的用L?br />
5.1.2 文gpȝ的实?br />
5.1.3 文gpȝ的保护控?br />
5.2 Linux文gpȝ
5.2.1 Linux本地文gpȝ
5.2.2 虚拟文gpȝ
5.2.3 Linux文g保护机制
5.2.4 Linux文gpȝAPI
5.3 分布式文件系l?br />
5.3.1 分布式文件系l的Ҏ(gu)?br />
5.3.2 基本NFS体系l构
5.3.3 NFS支持的文件操?br />
5.4 Java文gpȝ
5.4.1 Java文gpȝAPI
5.4.2 URI和URL
5.4.3 Java输入输出?br />
5.4.4 随机存取文g
5.5 Hadoop抽象文gpȝ
5.5.1 Hadoop文gpȝAPI
5.5.2 Hadoop输入输出?br />
5.5.3 Hadoop文gpȝ中的权限
5.5.4 抽象文gpȝ中的静态方?br />
5.5.5 Hadoop文gpȝ中的协议处理?br />
5.6 Hadoop具体文gpȝ
5.6.1 FileSystem层次l构
5.6.2 RawLocalFileSystem的实?br />
5.6.3 ChecksumFileSystem的实?br />
5.6.4 RawInMemoryFileSystem的实?br />
5.7 结
W三部分 Hadoop分布式文件系l?br />
W?章 HDFS概述
6.1 初识HDFS
6.1.1 HDFS主要Ҏ(gu)?br />
6.1.2 HDFS体系l构
6.1.3 HDFS源代码结?br />
6.2 Zq程q程调用的接?br />
6.2.1 与客L相关的接?br />
6.2.2 HDFS各服务器间的接口
6.3 非远E过E调用接?br />
6.3.1 数据节点上的非IPC接口
6.3.2 名字节点和第二名字节点上的非IPC接口
6.4 HDFS主要程
6.4.1 客户端到名字节点的文件与目录操作
6.4.2 客户端读文g
6.4.3 客户端写文g
6.4.4 数据节点的启动和心蟩
6.4.5 W二名字节点合ƈ元数?br />
6.5 结
W?章 数据节点实现
7.1 数据块存?br />
7.1.1 数据节点的磁盘目录文件结?br />
7.1.2 数据节点存储的实?br />
7.1.3 数据节点升
7.1.4 文gpȝ数据集的工作机制
7.2 式接口的实?br />
7.2.1 DataXceiverServer和DataXceiver
7.2.2 L?br />
7.2.3 写数?br />
7.2.4 数据块替换、数据块拯和读数据块检验信?br />
7.3 作ؓ整体的数据节?br />
7.3.1 数据节点和名字节点的交互
7.3.2 数据块扫描器
7.3.3 数据节点的启?br />
7.4 结
W?章 名字节点实现
8.1 文gpȝ的目录树
8.1.1 从i-node到INode
8.1.2 命名I间镜像和编辑日?br />
8.1.3 W二名字节点
8.1.4 FSDirectory的实?br />
8.2 数据块和数据节点理
8.2.1 数据l构
8.2.2 数据节点理
8.2.3 数据块管?br />
8.3 q程接口ClientProtocol的实?br />
8.3.1 文g和目录相关事?br />
8.3.2 L据用的Ҏ(gu)
8.3.3 写数据用的Ҏ(gu)
8.3.4 工具dfsadmin依赖的方?br />
8.4 名字节点的启动和停止
8.4.1 安全模式
8.4.2 名字节点的启?br />
8.4.3 名字节点的停?br />
8.5 结
W?章 HDFS客户?br />
9.1 认识DFSClient
9.1.1 DFSClient的构造和关闭
9.1.2 文g和目录、系l管理相关事?br />
9.1.3 删除HDFS文g目录的流E?br />
9.2 输入?br />
9.2.1 L据前的准备：打开文g
9.2.2 L?br />
9.2.3 关闭输入?br />
9.2.4 dHDFS文g数据的流E?br />
9.3 输出?br />
9.3.1 写数据前的准备：创徏文g
9.3.2 写数据：数据管道的建立
9.3.3 写数据：数据包的发?br />
9.3.4 写数据：数据管道出错处?br />
9.3.5 写数据：U约更新
9.3.6 写数据：DFSOutputStream.sync()的作?br />
9.3.7 关闭输出?br />
9.3.8 向HDFS文g写入数据的流E?br />
9.4 DistributedFileSystem的实?br />
9.5 HDFS常用工具
9.5.1 FsShell
9.5.2 DFSAdmin
9.6 结
|
苏公|安?32061202001004?/p>
