如何获取Spark Jar包?
更新时间 2024-06-13 16:45:24
最近更新时间: 2024-06-13 16:45:24
本章节主要介绍翼MapReduce如何获取Spark Jar包。
1、获取非Spark依赖
从maven中央仓库/华为云仓库等 获取Spark运行所需要的依赖 ,可以从Spark Apache官网获取Spark相关的客户端。
Spark客户端中jars目录包含Spark运行依赖。
Spark 客户端下载地址参考Spark Apache官网。
2、获取Spark-core等Spark依赖
除了通过Spark Apache官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。
可根据如下命令进行Spark源码打包:
整体打包命令:
./build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
单模块打包命令:
./build/mvn -pl :spark-streaming_2.12 clean install