创建并提交Spark SQL作业 本章节主要介绍数据湖探索创建并提交Spark SQL作业。 操作场景 DLI可以查询存储在OBS中的数据,本节操作介绍使用DLI提交Spark SQL作业查询OBS数据的操作步骤。 操作流程 使用DLI提交Spark SQL作业查询数据。基本流程如下: 1.上传数据至OBS 2.创建队列 3.创建数据库 4.创建表 5.查询数据 上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。 1.登录管理控制台。 2.在服务列表中,单击“存储”中的“对象存储服务OBS”,进入OBS管理控制台页面。 3.创建桶,本例桶名以“obs1”为例。 a. 单击页面右上角“创建桶”。 b. 进入“创建桶”页面,输入“桶名称”。其他参数保持默认值或根据需要选择。 创建OBS桶时,需要选择与DLI管理控制台相同的区域,不可跨区域执行操作。 c. 单击“立即创建”。 4.单击所建桶“obs1”,进入“对象”页面。 5.勾选左侧列表中的“对象”,选择“上传对象”,将需要上传的文件“sampledata.csv”上传到指定目录,单击“上传”。 “sampledata.csv”样例文件可以通过新建“sampledata.txt”,复制如下英文逗号分隔的文本内容,再另存为“sampledata.csv”。 12,test 文件上传成功后,待分析的文件路径为“obs://obs1/sampledata.csv”。 说明 关于OBS管理控制台更多操作请参考《 OBS上传文件指导,请参见《 针对大文件场景,由于OBS管理控制台对文件大小和数量限制较多,所以推荐使用OBS工具上传大文件,如OBS Browser+上传。 OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。