1、获取非spark依赖
从maven中央仓库/华为云仓库等 获取spark运行所需要的依赖 ,可以从 spark apache官网获取spark相关的客户端。
Spark客户端中jars目录包含spark运行依赖。
Spark 客户端下载地址参考spark apache官网。
2、获取spark-core等spark依赖
除了通过spark官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。
可根据如下命令进行spark源码打包:
整体打包命令:
./build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
单模块打包命令:
./build/mvn -pl :spark-streaming_2.12 clean install