前提条件
登录星辰TokenHub运营服务平台(原模型推理服务)控制台。
第一步:开启模型服务
主用户可通过控制台“在线推理”页面查看模型列表,选中目标模型后,点击右侧的“开启服务”按钮,开启模型服务。如果某个模型确定不再使用,可以点击“关闭服务”按钮,服务关闭后,API调用将会失败。
部分模型配有免费token额度用于体验,可点击“开启免费体验”领取免费额度。免费额度用完后,将自动转按需计费,若您不希望产生按需费用,请在开启免费体验的弹窗页面中,主动勾选“免费额度耗尽或到期后,自动关闭服务”。
第二步:获取App Key和模型ID
方式一
在左侧菜单栏进入“APP Key管理”,点击“+创建服务组”,依次填写服务组名称、服务组描述、生效时间、额度控制、性能控制等基本信息、并选择对应的配置服务。
创建服务组后,从服务组上面获取APP KEY。
说明
请妥善保管App Key,避免公开共享,以防安全风险和资金损失。强烈建议您不要将其直接写入到调用模型的代码中。
通过“模型广场”-“模型详情”选择目标模型并在详情页内获取模型ID或调用名称。
通过“模型广场”-“模型详情”-“API快速接入”获取调用示例代码,发起API调用。
方式二
在左侧菜单栏进入“概览”,点击“API接入”。
在API快捷接入页面:
选择服务组:从下拉菜单中选择第一步创建的服务组。如果尚未创建,可点击“确认创建并选择”快速创建默认服务组
选择模型:从模型下拉菜单中选择需要接入的模型
选择完成后,页面下方将自动展示该模型支持的所有编程语言的示例代码,即可发起API调用。
有关更多APP Key内容,请参见:APP Key管理。
第三步:服务与用量观测
第四步:子用户管理
企业管理员可新增子用户,将子用户分配给不同业务/部门使用,每个子用户可以独立新建和管理自己的APP Key。主用户可以在控制台查看子用户的token用量,并对子用户的用量做限额管理。
操作步骤:
创建IAM用户,选择对应的用户组。具体操作请参见创建IAM用户和登录。
完成IAM用户创建后,再通过星辰TokenHub控制台的“模型授权”页面,对子用户授权模型,可选择全部模型,或自定义模型范围。具体使用,请参见:模型授权。
完成模型授权后,即可通知子用户登录控制台使用模型推理服务。
第五步:用量限额
如果需要对整个账号全局粒度、主子用户粒度、服务组粒度限制模型用量与费用,可通过星辰TokenHub控制台的“限额管理”页面,配置限额。具体使用,请参见:限额管理。