parts = [] for finishedPart in finishedPartsInfo: finishedPartNumbers.append(finishedPart['PartNumber']) if partSize < finishedPart['Size']: partSize = finishedPart['Size'] part = { 'ETag': finishedPart['ETag'], 'PartNumber': finishedPart['PartNumber'
l SparkUI:单击后,将跳转至Spark任务运行情况界面。说明l 新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空的projectID,从而导致无法查看SparkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看SparkUI,确保集群已经拉好了,不要立即单击SparkUI。l 目前DLI配置SparkUI只展示最新的100条作业信息。
本节介绍了用户指南:使用LocalPV静态存储卷。 使用LocalPV静态存储卷,即:使用kubernetes原生本地存储能力,将本地存储设备,例如磁盘、分区或者目录挂载至Pod中。通过手动在控制台创建PV,创建PVC时使用已有PV的方式,实现容器内挂载本地存储。该模式下需要用户自建PV资源,一定程度上增加操作和管理复杂性,一般推荐使用动态创建存储的方式。使用限制本地存储卷取决于底层节点的可用性,如果节点变得不健康,那么存储卷也将变得不可被 Pod 访问,影响Pod运行。