失效链接处理 |
《Spark快速大数据分析》PDF 下蝲
转蝲自:(x)https://download.csdn.net/download/tianzhixiang/10359154
下蝲地址Q?/strong>
版权归出版社和原作者所有,链接已删除,误买正?/b>
?sh)子版仅供预览?qing)学习(fn)交流使用Q下载后?4时内删除,支持正版Q喜Ƣ的误买正版书c:(x)《Spark快速大数据分析?/a>
图书介:(x)
本书?Spark 开发者及(qing)核心(j)成员共同打造,讲解?jin)网l大数据时代应运而生的、能高效q捷地分析处理数据的工具——SparkQ它带领读者快速掌握用 Spark 攉、计、简化和保存?gu)量数据的方法,学?x)交互、P代和增量式分析,解决分区、数据本地化和自定义序列化等问题?/span>
相关截图Q?br />
![]()
图书目录Q?/strong>
目录 推荐序 xi 译者序 xiv 序 xvi 前言 xvii W?章 Spark数据分析D 1 1.1 Spark是什么 1 1.2 一个大一l的软g栈 2 1.2.1 Spark Core 2 1.2.2 Spark SQL 3 1.2.3 Spark Streaming 3 1.2.4 MLlib 3 1.2.5 GraphX 3 1.2.6 集群理器 4 1.3 Spark的用户和用途 4 1.3.1 数据U学d 4 1.3.2 数据处理应用 5 1.4 Spark双Ӏ 5 1.5 Spark的版本和发布 6 1.6 Spark的存储层ơ 6 W?章 Spark下蝲与入门 7 2.1 下蝲Spark 7 2.2 Spark中Python和Scala的shell 9 2.3 Spark 核心(j)概念介 12 2.4 独立应用 14 2.4.1 初始化SparkContext 15 2.4.2 构徏独立应用 16 2.5 ȝ 19 W?章 RDD~程 21 3.1 RDD基础 21 3.2 创徏RDD 23 3.3 RDD操作 24 3.3.1 转化操作 24 3.3.2 行动操作 26 3.3.3 惰性求倹{ 27 3.4 向Spark传递函数 27 3.4.1 Python 27 3.4.2 Scala 28 3.4.3 Java 29 3.5 常见的{化操作和行动操作 30 3.5.1 基本RDD 30 3.5.2 在不同RDDcd间{换 37 3.6 持久? ~存) 39 3.7 ȝ 40 W?章 键值对操作 41 4.1 动机 41 4.2 创徏Pair RDD 42 4.3 Pair RDD的{化操作 42 4.3.1 聚合操作 45 4.3.2 数据分组 49 4.3.3 q接 50 4.3.4 数据排序 51 4.4 Pair RDD的行动操作 52 4.5 数据分区Q进Ӟ(j) 52 4.5.1 获取RDD的分区方式 55 4.5.2 从分ZL(fng)的操作 56 4.5.3 影响分区方式的操作 57 4.5.4 CZQPageRank 57 4.5.5 自定义分区方式 59 4.6 ȝ 61 W?章 数据d与保存 63 5.1 动机 63 5.2 文g格式 64 5.2.1 文本文g 64 5.2.2 JSON 66 5.2.3 逗号分隔g制表W分隔倹{ 68 5.2.4 SequenceFile 71 5.2.5 对象文g 73 5.2.6 Hadoop输入输出格式 73 5.2.7 文g压羃 77 5.3 文gpȝ 78 5.3.1 本地/“常规”文gpȝ 78 5.3.2 Amazon S3 78 5.3.3 HDFS 79 5.4 Spark SQL中的l构化数据 79 5.4.1 Apache Hive 80 5.4.2 JSON 80 5.5 数据库 81 5.5.1 Java数据库连接 81 5.5.2 Cassandra 82 5.5.3 HBase 84 5.5.4 Elasticsearch 85 5.6 ȝ 86 W?章 Spark~程q阶 87 6.1 介 87 6.2 累加器 88 6.2.1 累加器与定w性 90 6.2.2 自定义篏加器 91 6.3 q播变量 91 6.4 Z分区q行操作 94 6.5 与外部程序间的管道 96 6.6 数值RDD 的操作 99 6.7 ȝ 100 W?章 在集上q行Spark 101 7.1 介 101 7.2 Sparkq行时架构 101 7.2.1 驱动器节炏V 102 7.2.2 执行器节炏V 103 7.2.3 集群理器 103 7.2.4 启动一个程序 104 7.2.5 结 104 7.3 使用spark-submit 部v应用 105 7.4 打包代码与依赖 107 7.4.1 使用Maven构徏的用Java~写的Spark应用 108 7.4.2 使用sbt构徏的用Scala~写的Spark应用 109 7.4.3 依赖冲突 111 7.5 Spark应用内与应用间调度 111 7.6 集群理器 112 7.6.1 独立集群理器 112 7.6.2 Hadoop YARN 115 7.6.3 Apache Mesos 116 7.6.4 Amazon EC2 117 7.7 选择合适的集群理器 120 7.8 ȝ 121 W?章 Spark调优?sh)调试 123 8.1 使用SparkConf配置Spark 123 8.2 Spark执行的组成部分:(x)作业、Q务和步骤 127 8.3 查找信息 131 8.3.1 Spark|页用户界面 131 8.3.2 驱动器进E和执行器进E的日志 134 8.4 关键性能考量 135 8.4.1 q行度 135 8.4.2 序列化格式 136 8.4.3 内存理 137 8.4.4 g供给 138 8.5 ȝ 139 W?章 Spark SQL 141 9.1 q接Spark SQL 142 9.2 在应用中使用Spark SQL 144 9.2.1 初始化Spark SQL 144 9.2.2 基本查询CZ 145 9.2.3 SchemaRDD 146 9.2.4 ~存 148 9.3 d和存储数据 149 9.3.1 Apache Hive 149 9.3.2 Parquet 150 9.3.3 JSON 150 9.3.4 ZRDD 152 9.4 JDBC/ODBC服务器 153 9.4.1 使用Beeline 155 9.4.2 长生命周期的表与查询 156 9.5 用户自定义函数 156 9.5.1 Spark SQL UDF 156 9.5.2 Hive UDF 157 9.6 Spark SQL性能 158 9.7 ȝ 159 W?0章 Spark Streaming 161 10.1 一个简单的例子 162 10.2 架构与抽象 164 10.3 转化操作 167 10.3.1 无状态{化操作 167 10.3.2 有状态{化操作 169 10.4 输出操作 173 10.5 输入源 175 10.5.1 核心(j)数据源 175 10.5.2 附加数据源 176 10.5.3 多数据源与集规模 179 10.6 24/7不间断运行 180 10.6.1 (g)查点机制 180 10.6.2 驱动器程序容错 181 10.6.3 工作节点定w 182 10.6.4 接收器容错 182 10.6.5 处理保证 183 10.7 Streaming用户界面 183 10.8 性能考量 184 10.8.1 Ҏ(gu)和窗口大 184 10.8.2 q行度 184 10.8.3 垃圾回收和内存(sh)用 185 10.9 ȝ 185 W?1章 ZMLlib的机器学?fn) 187 11.1 概述 187 11.2 pȝ要求 188 11.3 机器学习(fn)基础 189 11.4 数据cd 192 11.5 法 194 11.5.1 特征提取 194 11.5.2 l计 196 11.5.3 分类与回归 197 11.5.4 聚类 202 11.5.5 协同qo(h)与推荐 203 11.5.6 降维 204 11.5.7 模型评估 206 11.6 一些提CZ性能考量 206 11.6.1 准备特征 206 11.6.2 配置法 207 11.6.3 ~存RDD以重复用 207 11.6.4 识别E疏程度 207 11.6.5 q行度 207 11.7 水UAPI 208 11.8 ȝ 209 作者简介 210 面介绍 210 |