【课程介绍】
Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
【课程目录】
01
大数据技术领域介绍及学习方法和发展规划
【录播】大数据技术领域介绍及学习方法和发展规划(20分钟) 免费试学
02/ A! h5 x: ?: a$ ?; `5 ?# E! r( u
Hadoop的介绍及基本概念
【录播】Hadoop的介绍及基本概念(13分钟) 免费试学, f7 z }% O6 z+ M# [3 |9 ~* P
03* C1 |' p5 n) t& R4 E3 h' c9 B8 s
Hadoop的必要性-1
【录播】Hadoop的必要性-1(17分钟) 免费试学* D& R, R5 z, x1 ~6 @ @) a
046 Y' e) i+ B u9 l/ }0 n/ s
Hadoop的必要性-2
【录播】Hadoop的必要性-2(13分钟) 免费试学
05
Hadoop集群安装部署-linux服务器环境准备( @* X0 c+ W5 a- X" }; L& N
【录播】Hadoop集群安装部署-linux服务器环境准备(22分钟) 免费试学& [1 i/ e; U3 K2 L* d8 k% j
06
Hadoop集群安装部署-hadoop安装部署及配置, {5 g" U3 O( `9 Z1 s& |- a' V, j! l
【录播】Hadoop集群安装部署-hadoop安装部署及配置(21分钟)
07
Hadoop集群启动-手动启动
【录播】Hadoop集群启动-手动启动(10分钟)
08
Hadoop集群启动-自动化脚本启动
【录播】Hadoop集群启动-自动化脚本启动(10分钟)
09
Hadoop集群从单节点的伪分布式扩展为多节点分布式
【录播】集群从单节点的伪分布式扩展为多节点分布式(13分钟)9 }, y, x, b' s- ^ ^# I; S
10% s5 g$ j' `$ q- R
Hdfs的功能体验及shell命令行操作
【录播】Hdfs的功能体验及shell命令行操作(21分钟)
11
Hdfs分布式文件系统的基本工作机制及相关概念解析& Y, _) S+ D, Z+ ]
【录播】Hdfs分布式文件系统的基本工作机制(22分钟); r+ G i4 f2 U. t
12- b1 b2 g9 G# F% k, s9 Q- C
Hdfs的JAVA客户端基本操作-1
【录播】Hdfs的JAVA客户端基本操作-1(20分钟)
13' M$ N, b& R# h& l; q5 H
Hdfs的JAVA客户端基本操作-2
【录播】Hdfs的JAVA客户端基本操作-2(14分钟)
14
Hdfs的JAVA客户端基本操作-35 I+ F. h, C8 X2 w
【录播】Hdfs的JAVA客户端基本操作-3(10分钟)
15
Hdfs的JAVA客户端基本操作-4
【录播】Hdfs的JAVA客户端基本操作-4(11分钟)' P& \8 I l4 l4 ?0 J
16
Hdfs的JAVA客户端IO流操作
【录播】Hdfs的JAVA客户端IO流操作(17分钟)
17* Y6 X1 Y! j6 Q2 ~& h% U
Hdfs读写数据流程. i. `$ r% L$ n1 N9 [$ K4 ^
【录播】Hdfs读写数据流程(21分钟)* N4 e O( z2 O2 u; e4 i8 y7 ~$ Y; `- R" z
18
Hdfs中namenode管理元数据的机制
【录播】Hdfs中namenode管理元数据的机制(13分钟)' g, H% h2 ^# v; W
19
Hadoop的RPC框架运行机制
【录播】Hadoop的RPC框架运行机制(17分钟)% l; s, R; L; q' _* P1 B8 z! \ [
20
Hadoop的RPC框架应用示例-1* l1 \" h2 |( T# `/ w1 L% M
【录播】Hadoop的RPC框架应用示例-1(22分钟)
212 E! f+ x% C: V2 A+ R+ r( i
Hadoop的RPC框架应用示例-2
【录播】Hadoop的RPC框架应用示例-2(14分钟)& U' W/ a7 ?* l7 l
22
Mapreduce概念介绍% U/ f" a6 W, Q% Y
【录播】Mapreduce概念介绍(15分钟)- w% Q s9 Q M. T t
23+ Y: y# f! V& H4 z, x" M
Mapreduce框架运行机制
【录播】Mapreduce框架运行机制(12分钟)8 c% Q9 l7 F, C
245 G; Q2 b% W# v# r) W9 S c
Mapreduce运行机制的数据流程4 ~6 ?6 z# v: i' j9 j2 X
【录播】Mapreduce运行机制的数据流程(12分钟)
255 i9 q" Z. ]; m0 L8 T* T
wordcount的mapreduce逻辑实现流程" t1 @; n, t z1 R0 Y) k
【录播】wordcount的mapreduce逻辑实现流程(14分钟)
26
wordcount程序的mapper类实现* C: _& S% s1 V7 L
【录播】wordcount程序的mapper类实现(22分钟)/ t+ f: Y7 `3 y8 b
270 `% G! _+ j: L, j$ S) d8 ^, s* b
wordcount程序的reducer类实现
【录播】wordcount程序的reducer类实现(14分钟)
28! n% z! l' _! a) }/ `! B( L
wordcount程序的job提交客户端实现
【录播】wordcount程序的job提交客户端实现(14分钟)
292 q" z5 ~% r7 J6 W4 o
wordcount程序打包运行演示
【录播】wordcount程序打包运行演示(15分钟)
30( b0 o1 I% Z9 n5 C
流量汇总需求及mapreduce编程思路
【录播】流量汇总需求及mapreduce编程思路(12分钟)$ s$ x; R) O) g/ S; [& K& s6 q
31
流量汇总mapreduce程序的实现-1-hadoop序列化机制
【录播】流量汇总mapreduce程序的实现(14分钟)
329 [7 A2 e+ F- r% f5 J5 H
流量汇总mapreduce程序的实现-2-mapper和reducer5 \0 }5 T1 m' d8 l( v8 v
【录播】流量汇总mapreduce程序的实现和reducer(20分钟)
331 b* w" E7 v' @4 D+ Z. j& i0 j5 K
流量汇总mapreduce程序打包执行及网页监控1 R% v( F! B x* `0 y! S) j% e
【录播】流量汇总mapreduce程序打包执行及网页监控(8分钟)
349 E9 Q( X9 @, T8 r; e: d
分区汇总流量程序的思路及实现-1
【录播】分区汇总流量程序的思路及实现-1(24分钟)3 r* M% R. V1 U* c) V
35) m8 W% p5 \: c7 [" c" Q+ C
分区汇总流量程序的思路及实现-2
【录播】分区汇总流量程序的思路及实现-2(24分钟)
364 O" L4 m% ^& }7 \- ~8 Y3 j
分区汇总流量程序的执行及分区数与reducetask数的关系" F% N7 _2 j. U ~, b& q+ n
【录播】分区汇总流量程序的执行及分区数(13分钟)
37
流量汇总并按流量大小倒序排序的代码实现
【录播】流量汇总并按流量大小倒序排序的代码实现(25分钟)3 k# E6 F/ S' V
38' F# x6 z* N' k
流量汇总并按流量大小倒序排序的代码实现
【录播】流量汇总并按流量大小倒序排序的代码实现(7分钟)
39
mapreduce程序的本地运行模式及debug' ]7 @1 X0 C% O; b5 t' f9 P5 b
【录播】mapreduce程序的本地运行模式及debug(19分钟)
40/ ~. |9 {( ^, G
mapreduce框架中的shuffle机制详解
【录播】mapreduce框架中的shuffle机制详解(28分钟)
41
YARN的基本概念--MR程序提交的流程8 H& @/ O1 J) J( U" d6 D
【录播】YARN的基本概念--MR程序提交的流程(22分钟)
42$ Y% u' I& @3 a0 w% N! W
YARN的工作机制--MR程序运行流程9 D! r/ V* g* i: O
【录播】YARN的工作机制--MR程序运行流程(15分钟)
43
YARN的工作机制及特性总结+ r Y# ^7 G; n( g
【录播】YARN的工作机制及特性总结(13分钟)% Z' w1 y' j. y2 C
44& M/ b- ?& e; O& j
mapreduce程序运行并发度--reduce并发度. _! `4 E6 {( @/ H) E
【录播】mapreduce程序运行并发度--reduce并发度(7分钟)
45) {7 p, ]+ G& B/ X7 V
mapreduce程序运行并发度--数据切片的思考: d% H) a' \, c& P& A) V8 v
【录播】mapreduce程序运行并发度--数据切片的思考(17分钟)
466 r+ J4 ^5 B! t' G( H$ n& d4 D. E
mapreduce程序运行并发度--maptask决定机制6 i. I" `9 s! U0 i4 |
【录播】mapreduce程序运行并发度--maptask决定机制(30分钟)% J4 C" A9 P7 ~/ b0 E7 ]8 C& u8 n8 }
47, L& Z$ A7 s( E
mapreduce编程练习之共同好友-需求解析
【录播】mapreduce编程练习之共同好友-需求解析(3分钟)
48
mapreduce编程练习之共同好友-思路分析8 [% @0 f% F" G) ^: V: v
【录播】mapreduce编程练习之共同好友-思路分析(12分钟)
49
mapreduce编程练习之共同好友--步骤1实现' P, R8 |: X$ a! t+ [% |- p: _
【录播】mapreduce编程练习之共同好友--步骤1实现(21分钟)) C k) k! e1 g6 B* _' l
50
mapreduce编程练习之共同好友--步骤2实现 p9 l3 o6 U: R
【录播】mapreduce编程练习之共同好友--步骤2实现(19分钟)
51( Q# X/ y1 O+ c3 g
mapreduce编程练习之连表查询--需求分析! x3 ?) k8 q/ S7 s: K x- Z/ J8 Z
【录播】mapreduce编程练习之连表查询--需求分析(6分钟)7 I& m" g# h& A2 z
521 f. |; l2 E- E8 w4 Z! u4 t
mapreduce编程练习之连表查询--mapper的实现( l5 G U. R' g6 H' l: \* j
【录播】mapreduce编程练习之连表查询-mapper的实现(23分钟)
53$ Q4 K5 q. Q! M8 I$ e' W
mapreduce编程练习之连表查询--reducer的实现. O( A; L7 \: K; ]5 R/ e1 g
【录播】mapreduce编程练习之连表查询reducer的实现(28分钟)
54
zookeeper简介
【录播】zookeeper简介(19分钟)
55
mapreduce编程练习之连表查询--reduce端join的缺点; |( H- H/ l( X5 E
【录播】mapreduce连表查询reduce端join的缺点(10分钟)9 {5 h% @/ Q& K6 v8 a# B
56
mapreduce编程练习之连表查询--map端join的思想
【录播】mapreduce连表查询--map端join的思想(9分钟)% }" H3 ]- w; L( ?9 [! |3 l- O
57
mapreduce编程练习之连表查询--map端join的mapper实现
【录播】mapreduce连表查询--map端join的mapper实现(32分钟)$ e7 F- K: L6 O+ _1 D% m2 \
587 v* H: Y' I" |& ?! B
mapreduce编程练习之倒排索引--需求说明; l' f5 @! R* U$ y- m
【录播】mapreduce编程练习之倒排索引--需求说明(4分钟)
59; K* }* v& V* D4 U* Y* o) O
mapreduce编程练习之倒排索引--编程思路
【录播】mapreduce编程练习之倒排索引--编程思路(12分钟)7 L; z% N1 ^) x, V- B2 f
60/ J8 T) f' D8 M" o
mapreduce编程练习之倒排索引--步骤1的实现
【录播】mapreduce编程练习之倒排索引--步骤1的实现(15分钟)
61
mapreduce编程练习之倒排索引--步骤2的实现
【录播】mapreduce编程练习之倒排索引--步骤2的实现(12分钟)
62
mapreduce编程练习之倒排索引--多job串联执行的实现
【录播】mapreduce倒排索引--多job串联执行的实现(25分钟)
63
zookeeper集群搭建--集群组件介绍
【录播】zookeeper集群搭建--集群组件介绍(7分钟)
64. q( J# m- O4 q4 J7 A8 {$ T# v
zookeeper集群搭建--配置文件修改
【录播】zookeeper集群搭建--配置文件修改(15分钟), t* }! E& f- _. L) t
65$ P8 _: A2 D+ a% a S1 ]" B& b
zookeeper集群搭建--集群启动及可靠性测试1 ~! b% A5 s! ]$ N# _
【录播】zookeeper集群搭建--集群启动及可靠性测试(14分钟)9 x" z2 I7 A( a3 ^# h: x* U+ y% [% u/ v
66* i+ l: O7 S1 n# g
zookeeper的功能& v0 e) W( ]5 Q: N
【录播】zookeeper的功能(22分钟)
67+ E/ B/ ?2 i/ G8 }; Z; y' j
zookeeper的命令行客户端使用及功能测试1 x) }& R; T- [0 }" J2 h
【录播】zookeeper的命令行客户端使用及功能测试(16分钟), G8 r6 t! M3 r7 i$ _
68( k8 ^4 g$ h. f7 r5 e1 @% R$ d, H
zookeeper的java客户端初步使用
【录播】zookeeper的java客户端初步使用(14分钟)
69
zookeeper的java客户端创建znode
【录播】zookeeper的java客户端创建znode(15分钟)# @' X- f0 g9 p: h1 o- f
70
zookeeper的java客户端获取及修改znode数据1 M, Z0 q" J& Z) z, R8 n! O A- _
【录播】zookeeper的java客户端获取及修改znode数据(12分钟)
71
zookeeper的java客户端删除znode节点
【录播】zookeeper的java客户端删除znode节点(7分钟)0 ? _7 B% n8 E- ^
72- Y1 K( v% z& Z* s- V6 i
zookeeper的java客户端监听器的使用
【录播】zookeeper的java客户端监听器的使用(20分钟)( c+ [; d" F9 t, X& k8 d( v. m5 |
73
zookeeper应用案例——服务器列表动态更新-实现思路) W# S4 o$ E6 H0 K- d% F1 k& v, u
【录播】zookeeper应用案例服务器列表动态更新实现(13分钟)
74* F, i, z+ K! r1 {: m) M
zookeeper应用案例——服务器列表动态更新-服务端实现) \# ]" a$ x7 q
【录播】zookeeper应用案例-服务端实现(20分钟)
754 m; v A. B% v/ z7 A
zookeeper应用案例——服务器列表动态更新-客户端实现 V2 L9 L( `; p
【录播】zookeeper应用案例-客户端实现(22分钟)
76
zookeeper应用案例——服务器列表动态更新-运行测试
【录播】zookeeper应用案例-运行测试(7分钟)6 {; j/ O* S# C* d) d
775 D5 F9 B; a8 Y/ z4 L0 Y
zookeeper应用案例——分布式锁-实现思路
【录播】zookeeper应用案例——分布式锁-实现思路(8分钟) q$ R5 b0 I% f0 ~( A6 W
781 H0 \3 q" f" V( ^! w
zookeeper应用案例——分布式锁-主体逻辑
【录播】zookeeper应用案例——分布式锁-主体逻辑(8分钟)% x" Y3 L; c0 v) N
79% _) Y0 _9 U+ [" \; C7 S1 j
zookeeper应用案例——分布式锁-主体逻辑2
【录播】zookeeper应用案例——分布式锁-主体逻辑2(10分钟)
80
zookeeper应用案例——分布式锁-代码实现-1, R7 K5 d0 m7 W( n% L6 e0 d
【录播】zookeeper应用案例——分布式锁-代码实现-1(18分钟)5 h' H, a+ ^+ v1 j* }# X: ?$ }8 z+ N
81
zookeeper应用案例——分布式锁-代码实现-2-运行测试
【录播】zookeeper应用案例分布式锁--运行测试(17分钟)% \, {# p9 r5 u0 b
82
hadoop-HA机制的实现原理-1
【录播】hadoop-HA机制的实现原理-1(16分钟)
83
hadoop-HA机制的实现原理-25 j6 B# t/ C7 u; |- q& J I
【录播】hadoop-HA机制的实现原理-2(16分钟)
84
hadoop-HA集群部署-服务器环境准备
【录播】hadoop-HA集群部署-服务器环境准备(22分钟)
852 Y9 u" m+ C' }2 ^ A+ X
hadoop-HA集群部署-zookeeper部署及ha配置要点 h- [% I" C: v; g" z4 o7 C
【录播】hadoop-HA集群部署-zookeeper部署-ha配置(9分钟)
863 B4 }7 G: `; `4 f# R
hadoop-HA集群部署-配置文件修改-1/ e1 `6 ?& h: _0 C8 x
【录播】hadoop-HA集群部署-配置文件修改-1(12分钟)' z8 U( E v0 B, q! h
87
hadoop-HA集群部署-配置文件修改-26 [1 k3 D6 s2 l0 |
【录播】19.hadoop-HA集群部署-配置文件修改-2(10分钟)& U2 D/ D4 _3 X2 \9 Z4 H% v) ^* M
88
hadoop-HA集群部署-初始化及启动
【录播】hadoop-HA集群部署-初始化及启动(13分钟): V/ O$ R! }, G2 B, j; N0 D3 W& i
899 O% h5 f' g; T2 q$ p; p2 a
hadoop-HA集群的使用和HA特性测试
【录播】hadoop-HA集群的使用和HA特性测试(19分钟)2 A8 v4 R# N% k( ]. w& i
90
hbase数据库简介- M0 C' ]7 D+ W2 m
【录播】hbase数据库简介(14分钟)
91; f8 P& W8 W" {/ b& F
hbase集群结构+ _5 |2 y3 k# f( c
【录播】hbase集群结构(8分钟)
92# C% j6 c) I. S; L, T. H
hbase集群部署与测试& C( ^: K" ?* v
【录播】hbase集群部署与测试(24分钟)
93! c w. u+ q5 b( ]+ n E/ ~ K
hbase命令行客户端简单使用( q. [4 [! o+ }+ f" Z
【录播】hbase命令行客户端简单使用(6分钟)6 q9 Q% e( @( j: y4 i8 [; w( B
94$ g) X& Z$ M+ q- t/ n2 g& x0 N* ^% P
hbase表结构与传统数据库表结构的对比
【录播】hbase表结构与传统数据库表结构的对比(14分钟) r! k, F: E9 r! [0 s& v# |
95, I: X1 B) J% N. ~
hbase命令行客户端创建表和插入数据及表的排序特性/ t' Y4 Y2 p1 ]/ R
【录播】hbase命令行客户端创建表-表的排序特性(22分钟)( L. `* m! y7 o( i7 T" T. l t
968 e' S4 u9 R2 q8 K, R$ i
hbase命令行客户端get查询命令
【录播】hbase命令行客户端get查询命令(11分钟). o6 W4 k1 f/ s+ a0 p2 m+ N
97
hbase命令行客户端管理名称空间$ N' ?' U' m1 O
【录播】hbase命令行客户端管理名称空间(7分钟)
98* n' _" {, g1 ~
hbase客户端api--建表
【录播】hbase客户端api--建表(23分钟)
99+ H E1 @- R" c9 d6 Z' {
hbase客户端api-数据插入
【录播】hbase客户端api-数据插入(18分钟)0 v% W1 Y1 c& U: H* ?
100
hbase客户端api-数据删除
【录播】hbase客户端api-数据删除(8分钟)
101+ Q$ f; ]$ h: r6 P9 K
hbase客户端api-数据更新3 R) S, D% E+ } G' i2 [% a$ y6 P- G
【录播】hbase客户端api-数据更新(5分钟)4 m. I2 M% H" m, T, j) x8 n& R8 h; W# s6 `
102! p( B, w+ J7 u
hbase客户端api--查询数据--Get
【录播】hbase客户端api--查询数据--Get(9分钟)2 W" f9 j" h: e7 l0 S; ]
103
hbase客户端api--查询数据--Scan
【录播】hbase客户端api--查询数据--Scan(10分钟)8 Y3 B- N7 \( o* R
104( O, h' C4 j( W+ S7 ^; Z* g8 u2 w
hbase客户端api--过滤器查询1 Q% z8 T3 w5 V* P' @- s" \/ k+ P+ a
【录播】hbase客户端api--过滤器查询(25分钟)7 j2 p' |5 y" B Q7 k7 M4 j1 X4 U
105
hbase分布式存储机制简介
【录播】hbase分布式存储机制简介(12分钟)
106
hive的安装和建表语句
【录播】hive的安装和建表语句(10分钟)
107
hive的设计思想和技术架构$ |1 Q& k% o) |# o
【录播】hive的设计思想和技术架构(15分钟)
1088 ?: i2 J" d2 M& m! D0 K) e2 Q
hive如何往表中导入数据! u+ Y! L. S; ?. h9 G
【录播】hive如何往表中导入数据(12分钟)
109) c+ R2 t- F" R g: e" j+ C
hive中的内部表和外部表的区别) c! j6 s+ B; c' b
【录播】hive中的内部表和外部表的区别(14分钟)
110) s( E w+ J; n" L9 C
hive的元数据库配置
【录播】hive的元数据库配置(11分钟)% k4 X5 k2 v6 G2 P$ ]1 x2 ^
111' N# w8 D4 [. F! V- F8 M% v* ~
sqoop的安装配置; z5 I z( {+ H9 A
【录播】sqoop的安装配置(8分钟)# J; H0 U0 P+ h. Q) X) ~6 P
112. @ z7 U4 L( t" p; @* V0 z1 z
sqoop导入数据的最基本用法
【录播】sqoop导入数据的最基本用法(8分钟)
1139 D# D. R& ]4 I' T* a1 d
sqoop导入数据到hdfs的高级用法- A+ x' Y6 T& E% R: J
【录播】sqoop导入数据到hdfs的高级用法(15分钟)* Z. g; ?" c- g7 S P3 `+ _
114
sqoop导入数据到hive及导出数据
【录播】sqoop导入数据到hive及导出数据(16分钟)
115; ?% q- ^2 i* F; a0 w8 B
storm实时流式计算系统简介 c1 ^& L: m3 v" h, d* R2 `0 P
【录播】storm实时流式计算系统简介(12分钟)
1164 V, T: e0 G8 K: ~8 f4 a, v
storm实时流式计算系统的工作机制
【录播】storm实时流式计算系统的工作机制(10分钟)' z3 ~% h" V! H
117
storm集群的配置和部署+ }# J& t8 U$ \" P6 E& @
【录播】storm集群的配置和部署(11分钟)
118
storm集群的部署及动态增加节点* f' \! Y: W3 `2 C/ W; Z+ {7 {
【录播】storm集群的部署及动态增加节点(21分钟). r( @5 I l; c
119
storm编程的基本概念-topo-spout-bolt
【录播】storm编程的基本概念-topo-spout-bolt(13分钟)6 b1 _* R3 b0 W- Z% m H: b
120
storm编程的基本概念-29 \: G4 u& b9 ~ _
【录播】torm编程的基本概念-2(15分钟)
121$ d; ^" S9 R0 J- L$ f" v/ o* i2 M6 c
storm编程接口--spout的结构
【录播】storm编程接口--spout的结构(8分钟)' N1 t) }# H, X X# V* D; y
122
storm编程案例--spout组件实现( p7 V4 J" I8 U, \
【录播】storm编程案例--spout组件实现(11分钟)/ v2 ]* ^0 q5 }3 J
123" l# M+ f" X; z. i" d. f
storm编程案例--bolt组件A-实现
【录播】storm编程案例--bolt组件A-实现(10分钟)
124
storm编程案例--bolt组件B-实现
【录播】storm编程案例--bolt组件B-实现(10分钟)
125# N) B7 D/ k7 ] e1 L2 K! y: z) @
storm编程案例--提交topo的客户端: [1 f& [# e* }& m9 V9 R
【录播】storm编程案例--提交topo的客户端(26分钟)
1263 ]8 ]+ K: Y1 k& e8 u3 k5 _6 H
storm编程案例--网站访问来源实时统计--需求
【录播】storm编程案例-网站访问来源实时统计--需求(7分钟)$ A# V6 H- N, P! X' M' S# J5 _
127) y$ S: H+ Y' p4 Z
storm编程案例--网站访问来源实时统计--代码实现
【录播】storm编程-网站访问来源实时统计-代码实现(25分钟)
