Spark组件优化后TPC-DS测试结果 本章节主要介绍翼MapReduce服务中Spark组件性能优化后的TPCDS测试结果。 背景介绍 集群环境 天翼云翼MapReduce Spark版本/开源Spark3.3.3版本 USED Processors/Cores/Threads: 1001+30 YARN Cores(Threads) USED Memory: 5001+60 GB YARN Memory Total Processors/Cores/Threads: (40+6)/(1040+168)/(1040+336) 关闭超线程 Total Memory: 7680+384 GBYARN Memory Master节点(3台): Processors: 2 Intel(R) Xeon(R) Gold 6348 CPU @ 2.60GHz, 28 Cores Memory: 128 GB Network: Bandwidth: 40 Gbps Storage Device: 2 480 GB SSD Disk (boot disk) 12 8 TB HDD Core节点(20台): Processors: 2 Intel(R) Xeon(R) Gold 5320 CPU @ 2.20GHz, 26Cores Memory(3 Types): 384GB(13台 16 GB 24,16台32 GB 12,1台16 GB 4+32 GB 8) Network: Bandwidth: 25 Gbps Storage Device: 2 480 GB SSD (Boot disk) 2 3.2 TB PCIE NVMe SSD (Data disk) 8 12 TB HDD 操作系统: CTyunOS 2.0.1 测试目的及重点 本测试旨在测试天翼云翼MapReduce服务下Spark计算引擎的性能。重点测试Spark引擎进行10T数据量标准TPCDS测试的QphDS@SF分数,对比开源Spark3.3.3版本的分数。 QphDS@SF分数计算公式 参数名称 计算方式 单位 已确认数值 :::::: Sq 自定义(需≥4) Stream 4 SF 测试数据量的大小 GB 10000 Q Sq 99 Queries 396 Tload 数据导入的时间 Second Tld 0.01 Sq Tload Hour Tpower Power Test时间(99条SQL运行) Second Tpt Tpower Sq /3600 Hour Ttt1 Throughput Test 1时间(并行4个99条SQL) Second Ttt2 Throughput Test 2时间(并行4个99条SQL) Second Tdm1 Maintenance Test 1时间(事务操作) Second Tdm2 Maintenance Test 2时间(事务操作) Second Ttt ( Ttt1+Ttt2 )/3600 Hour Tdm ( Tdm1+Tdm2 )/3600 Hour 测试步骤