大数据业务开发 处理步骤 在SparkSQL中设置以下参数后再运行: set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false: conf spark.sql.statistics.fallBackToHdfsfalse spark.yarn.executor.memoryOverhead设置不生效如何处理? 问题现象 Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead4096,但实际计算的时候依旧按照默认值1024申请资源。 原因分析 从Spark 2.3版本开始,推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小,如果任务两个参数都设置,则spark.yarn.executor.memoryOverhead的值不生效,以spark.executor.memoryOverhead的值为最终值。 同样的参数还有driver的overhead内存设置:spark.driver.memoryOverhead 解决步骤 使用新版本参数设置executor的overhead内存: spark.executor.memoryOverhead4096 连接ClickHouse服务端异常报错“code: 516”如何处理? 问题现象 使用clickhouse client命令连接ClickHouse服务端,报错: ClickHouse exception, code: 516, host: 192.168.0.198, port: 8443; Code: 516, e.displayText() DB::Exception: clickDevelopuser: Authentication failed: password is incorrect or there is no user with such name 原因分析 执行连接ClickHouse服务端命令时,用户名或者密码错误。 解决步骤 在执行连接ClickHouse服务端命令时,请输入正确的用户名或者密码。