配置存算分离集群(AKSK方式) Hive访问OBS 1.登录服务配置页面。 针对MRS 3.x之前版本,登录集群详情页面,选择“组件管理 > Hive > 服务配置”。 针对MRS 3.x及之后版本,登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务 > Hive > 配置”。 2.将“基础配置”切换为“全部配置”。 3.搜索“fs.obs.access.key”和“fs.obs.secret.key”参数,并分别配置为OBS的AK和SK。 若当前集群中搜索不到如上两个参数,请在左侧导航选择“Hive > 自定义”,在自定义参数“core.site.customized.configs”中增加如上两个参数。 4.单击“保存配置”,并勾选“重新启动受影响的服务或实例。”重启Hive服务。 5.在beeline中直接使用obs的目录进行访问。例如,执行如下命令创建Hive表并指定数据存储在testbucket文件系统的testobs目录中。 createtable testobs(a int, b string) row format delimited fields terminated by "," stored as textfile location"obs://testbucket/testobs"; Spark访问OBS 说明 由于SparkSQL依赖Hive,所以在Spark上配置OBS时,需要同时修改Hive访问OBS的OBS配置。 sparkbeeline和sparksql 可以通过在shell中增加如下OBS的属性实现访问OBS。 set fs.obs.endpointxxx set fs.obs.access.keyxxx set fs.obs.secret.keyxxx sparkbeeline sparkbeeline也可以通过在Manager中配置服务参数实现访问OBS。操作如下: 1.登录服务配置页面。 针对MRS 3.x之前版本,登录集群详情页面,选择“组件管理 > Spark服务配置”。 针对MRS 3.x及之后版本,登录FusionInsight Manager页面,具体请参见访问FusionInsightManager(MRS3.x及之后版本),选择“集群 > 服务 > Spark2x > 配置”。 2.将“基础配置”切换为“全部配置”。 3.选择“JDBCServer > OBS”配置fs.obs.access.key、fs.obs.secret.key参数。 若当前集群中没有如上两个参数,请在左侧导航选择“JDBCServer > 自定义”,在自定义参数“spark.coresite.customized.configs”中增加如上两个参数。 详见下图: 自定义添加OBS参数 4.单击“保存配置”,并勾选“重新启动受影响的服务或实例。”重启Spark服务。 5.在sparkbeeline中访问OBS,例如访问obs://obsdemoinput/table/目录: create table test(id int) location 'obs://obsdemoinput/table/'; sparksql和sparksubmit sparksql也可以通过修改coresite.xml配置文件实现访问OBS。 使用sparksql和使用sparksubmit提交任务访问OBS时,配置文件修改方法一致。 修改MRS客户端中Spark配置文件夹($clienthome/Spark/spark/conf)中的coresite.xml,增加如下内容: fs.obs.access.key ak fs.obs.secret.key sk fs.obs.endpoint obs endpoint