Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突

解决spark模块依赖冲突

修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。

1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml

在382行的位置，修改如下（红色部分）：

  

   ${hive.groupid}

   hive-service

   ${hive.version}

   ${spark.bundle.hive.scope}

   

​    

​     guava

​     com.google.guava

​    

​    

​     org.eclipse.jetty

​     *

​    

​    

​     org.pentaho

​     *

​    

   

  

 

  

   ${hive.groupid}

   hive-service-rpc

   ${hive.version}

   ${spark.bundle.hive.scope}

  

 

  

   ${hive.groupid}

   hive-jdbc

   ${hive.version}

   ${spark.bundle.hive.scope}

   

​    

​     javax.servlet

​     *

​    

​    

​     javax.servlet.jsp

​     *

​    

​    

​     org.eclipse.jetty

​     *

​    

   

  

 

  

   ${hive.groupid}

   hive-metastore

   ${hive.version}

   ${spark.bundle.hive.scope}

   

​    

​     javax.servlet

​     *

​    

​    

​     org.datanucleus

​     datanucleus-core

​    

​    

​     javax.servlet.jsp

​     *

​    

​    

​     guava

​     com.google.guava

​    

   

  

 

  

   ${hive.groupid}

   hive-common

   ${hive.version}

   ${spark.bundle.hive.scope}

   

​    

​     org.eclipse.jetty.orbit

​     javax.servlet

​    

​    

​     org.eclipse.jetty

​     *

​    

   



 

  

  

   org.eclipse.jetty

   jetty-server

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-util

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-webapp

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-http

   ${jetty.version}

  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225

否则在使用spark向hudi表插入数据时，会报错如下：

java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V

2）修改hudi-utilities-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:

vim /opt/software/hudi-0.12.0/packaging/hudi-utilities-bundle/pom.xml

在405行的位置，修改如下（红色部分）：

  

  

   org.apache.hudi

   hudi-common

   ${project.version}

   

​    

​     org.eclipse.jetty

​     *

​    

   

  

  

   org.apache.hudi

   hudi-client-common

   ${project.version}

   

​    

​     org.eclipse.jetty

​     *

​    

   

  

 

 



  

   ${hive.groupid}

   hive-service

   ${hive.version}

   ${utilities.bundle.hive.scope}

   

​		

​     servlet-api

​     javax.servlet

​    

​    

​     guava

​     com.google.guava

​    

​    

​     org.eclipse.jetty

​     *

​    

​    

​     org.pentaho

​     *

​    

   

  

 

  

   ${hive.groupid}

   hive-service-rpc

   ${hive.version}

   ${utilities.bundle.hive.scope}

  

 

  

   ${hive.groupid}

   hive-jdbc

   ${hive.version}

   ${utilities.bundle.hive.scope}

   

​    

​     javax.servlet

​     *

​    

​    

​     javax.servlet.jsp

​     *

​    

​    

​     org.eclipse.jetty

​     *

​    

   

  

 

  

   ${hive.groupid}

   hive-metastore

   ${hive.version}

   ${utilities.bundle.hive.scope}

   

​    

​     javax.servlet

​     *

​    

​    

​     org.datanucleus

​     datanucleus-core

​    

​    

​     javax.servlet.jsp

​     *

​    

​    

​     guava

​     com.google.guava

​    

   

  

 

  

   ${hive.groupid}

   hive-common

   ${hive.version}

   ${utilities.bundle.hive.scope}

   

​    

​     org.eclipse.jetty.orbit

​     javax.servlet

​    

​    

​     org.eclipse.jetty

​     *

​    

   



 

  

  

   org.eclipse.jetty

   jetty-server

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-util

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-webapp

   ${jetty.version}

  

  

   org.eclipse.jetty

   jetty-http

   ${jetty.version}

  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283

否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。

2.2.6 执行编译命令

mvn clean package -DskipTests -Dspark3.2 -Dflink1.13 -Dscala-2.12 -Dhadoop.version=3.1.3 -Pflink-bundle-shade-hive3
1

2.2.7 编译成功

编译成功后，进入hudi-cli说明成功：

编译完成后，相关的包在packaging目录的各个模块中：

比如，flink与hudi的包：

下一章 核心概念

后记

📢博客主页：https://manor.blog.csdn.net

📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 Maynor 原创，首发于 CSDN博客🙉
📢不能老盯着手机屏幕，要不时地抬起头，看看老板的位置⭐
📢数据湖专栏持续更新,欢迎订阅：https://blog.csdn.net/xianyu120/category_12388063.html