Spark组件优化后TPC-DS测试结果 运行SQL Power Test(Tpt) 本测试通过脚本中的以下命令,运行99条查询类SQL,并获取运行时间与SQL运行结果。 sparksql propertiesfile ${sparkconf} database ${db} f ${QUERYDIR}/query0.sql 运行sql之前,本测试会通过以下命令,清除集群环境内所有datanode、nodemanager服务所在节点的缓存,以保证结果的可信度与稳定性。 sync; echo 3 > /proc/sys/vm/dropcaches Throughput Test(Ttt) 本测试为在总资源固定的情况下,并行的运行4个Power Test,并获取运行时间与SQL运行结果。 Maintenance Test(Tdm) 本测试为运行包含删除、插入等事务操作的SQL,获取运行时间。本测试所需能力为内部对Spark二次开发获得,开源Spark不支持此能力。如使用Hive事务表,随机测试单条删除语句耗时超过300s,而mt1测试中,共48条删除语句和14条插入语句,因此以开源Spark的mt测试为天翼云翼MR Spark的10倍估算QPhDS@SF分数。 测试结果 参数名称 计算方式 单位 天翼云翼MR Spark 开源Spark3.3.3 :::::::: 总分 QPhDS@SF QPhDS@SF 18,847,502QphDS@SF 5,394,270QphDS@SF Sq 自定义(需≥4) Stream 4 4 SF 测试数据量的大小 GB 10000 10000 Q Sq 99 Queries 396 396 Tload 数据导入的时间 Second 733.5 858.8 Tld 0.01 Sq Tload/3600 Hour 0.0081 0.0095 Tpower Power Test时间 Second 1053.6 3802.5 Tpt Tpower Sq/3600 Hour 1.1707 4.2250 Ttt1 Throughput Test 1时间 Second 2696.3 7878.0 Ttt2 Throughput Test 2时间 Second 3052.2 11990.1 Tdm1 Maintenance Test 1时间 Second 219.4 2194.0 Tdm2 Maintenance Test 2时间 Second 241.1 2411.0 Ttt (Ttt1+Ttt2)/3600 Hour 1.5968 5.5189 Tdm (Tdm1+Tdm2)/3600 Hour 0.1279 1.2792 机器总花销(元) RMB 2,085,460.5 2,085,460.5 性能平均花费 Price/Performance RMB/kQphDS@SF 110.65 386.61