作业开发类 问题现象 ClickHouse会限制group by使用的内存量,在使用ClickHouse客户端执行SQL查询时报如下错误: Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.) 6%Received exception from server: Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB: (while reading column hits): 解决方法 在执行SQL语句前,执行如下命令。注意执行前保证集群有足够内存可以设置。 SET maxmemoryusage 128000000000; 128G 如果没有上述大小内存可用,ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将maxmemoryusage设置为maxbytesbeforeexternalgroupby大小的两倍。 set maxbytesbeforeexternalgroupby20000000000; 20G set maxmemoryusage40000000000; 40G 如果客户数据量大,而且是全表查询,建议按照分区进行查询或者进行升级集群core节点的规格。 Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理? 问题现象 Spark作业运行一直不结束,查看日志报错:java.io.IOException: Connection reset by peer。 解决方法 修改提交参数,加上参数“executor.memoryOverhead”。 Spark作业访问OBS报错“requestIdXXX”如何处理? 问题现象 Spark作业访问OBS报错:requestId4971883851071737250 解决方法 登录Spark客户端节点,进入conf目录,修改配置文件“coresite.xml”中的“fs.obs.metrics.switch”参数值为“false”。 Spark作业报错“UnknownScannerExeception”如何处理? 问题现象 Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。