活动
java如何解析命令行参数
参考文章【笔记】JCommander解析命令行参数_MrXionGe的博客-CSDN博客 很多时候我们的程序都是通过main方法启动，同
spark的JdbcRDD的源码修改--创建JdbcRDD时可以不加条件进行查询
在我们使用JdbcRDD时系统默认的参数如下：根据其注释的说明：由上上面的内容可以发现，JdbcRDD中的主构造函数中这几个参数是必不可少的，且没有辅助构造函数可以使用，于是我们在查询时就不得不输入上下界，即必须输入有查询条件的sql，然后
CDH常用优化配置
1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.
Spark Core：Scala单词计数
1、实验描述 利用Scala语言开发Spark WordCount程序实验时长：45分钟主要步骤：创建spark项目编写wordcoun
Spark安装部署：Standalone模式
1、实验描述 以spark Standalone的运行模式安装Spark集群实验时长： 45分钟主要步骤： 解压安装Spark添
303_Spark Core：Apache日志分析
1、实验描述 根据实际业务需求使用spark 完成对Apache格式的日志内容的分析。实验时长： 45分钟主要步骤： 启动spa
Hive on Spark调优
之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现 POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是Map
hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案
Client '1c5c0ae6-d56d-47b3-ae5a-d85fd941b14e_0' timed out waiting for connection from the Remote Spark Driver报
hive on spark参数调整
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项
大数据spark 蘑菇云行动前传 第1课：大数据时代的黄金语言scala
大数据spark 蘑菇云行动前传 第1课：大数据时代的黄金语言scala 1 jvm的企业级霸主地位和今日java 2 黄金语言scal
原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction
原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction
spark启动失败：requirement failed: No output operations registered, so nothing to execute
原因：在start后，没有触发spark的流数据动作，任意一个触发DStream的动作即可解决该问题，比如JavaRece
spark streaming启动失败，报错：Cannot run program “python3“
spark streaming启动失败，报错：Cannot run program "python3" 如图： 找不
热门文章
spark启动失败：requirement failed: No output operations registered, so nothing to execute
2023-04-13 09:31:18
大数据spark 蘑菇云行动前传 第1课：大数据时代的黄金语言scala
2023-04-23 09:44:23
原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction
2023-04-13 09:31:18
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
2023-06-14 09:13:14
hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案
2023-06-14 09:13:14
Spark Core：Scala单词计数
2023-06-20 09:13:20
相关产品
弹性云主机
随时自助获取、弹性伸缩的云服务器资源
天翼云电脑（公众版）
便捷、安全、高效的云电脑服务
对象存储
高品质、低成本的云上存储服务
云硬盘
为云上计算资源提供持久性块存储
