活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      数据仓库服务

      数据仓库服务

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 应用场景
        • 术语解释
        • 与其他云服务的关系
        • DWS权限管理
        • 如何访问DWS
        • 使用限制
        • 技术指标
        • 计费说明
        • 资源节点
        • 产品规格
        • 产品价格
        • 计费模式
        • 购买
        • 变更
        • 续订
        • 退订
        • 快速入门
        • 注册天翼云账号
        • 入门前准备
        • 创建集群
        • 连接集群
        • 查看其它资料并清理资源
        • 用户指南
        • 使用简介
        • 准备工作
        • 创建与删除集群
        • 创建专属集群
        • 包年/包月计费操作
        • 删除集群
        • 连接集群
        • 连接集群的方式
        • 获取集群连接地址
        • 使用gsql命令行客户端连接集群
        • 下载客户端
        • 使用Linux gsql客户端连接集群
        • 使用Windows gsql客户端连接集群
        • 使用SSL进行安全的TCP/IP连接
        • 使用Data Studio图形界面客户端连接集群
        • 使用JDBC和ODBC连接集群
        • 使用Python第三方库psycopg2连接集群
        • 使用Python第三方库PyGreSQL连接集群
        • 管理数据库连接
        • 监控与告警
        • Cloud Eye监控集群
        • 事件通知
        • 事件通知概述
        • 查看事件
        • 告警管理
        • 告警管理简介
        • 告警规则
        • 订阅告警通知
        • 变配与扩容
        • 查看巡检
        • 节点管理
        • 节点变更
        • 集群扩容
        • 集群重分布
        • 重分布
        • 查看重分布详情
        • 集群缩容
        • 规格变更
        • 集群高可用
        • 管理快照
        • 快照概述
        • 手动快照
        • 自动快照
        • 查看快照信息
        • 恢复快照
        • 集群容灾
        • 容灾概述
        • 创建容灾
        • 查看容灾信息
        • 容灾管理
        • 容灾互斥案例
        • 集群绑定和解绑ELB
        • 管理CN节点
        • 集群运维
        • 智能运维
        • 智能运维概览
        • 管理运维计划
        • 查看运维任务
        • 解除只读
        • 管理快照
        • 重启集群
        • 重置密码
        • 升级集群
        • 审计日志
        • 审计日志概述
        • 管理控制台审计日志
        • 数据库审计日志
        • 设置数据库审计日志
        • 转储数据库审计日志
        • 查看数据库审计日志
        • 集群管理
        • 修改数据库参数
        • 查看集群状态
        • 查看集群详情
        • 修改集群名称
        • 管理集群访问域名
        • 集群拓扑图
        • 删除集群
        • 管理企业项目
        • 管理创建失败的集群
        • 集群主备恢复
        • 启停集群
        • 数据库用户管理
        • 升级集群
        • 集群日志管理
        • 集群安全管理
        • 设置三权分立
        • 资源管理
        • 概述
        • 资源池
        • 功能介绍
        • 添加资源池
        • 修改资源池
        • 删除资源池
        • 资源管理计划
        • 资源管理计划操作
        • 资源管理计划阶段
        • 空间管理
        • 管理数据源
        • 管理MRS数据源
        • 逻辑集群管理
        • 逻辑集群概述
        • 添加/删除逻辑集群
        • 管理逻辑集群
        • 教程:已有数据的物理集群转换逻辑集群
        • 教程:新物理集群划分为逻辑集群
        • 最佳实践
        • 导入导出
        • 导入数据最佳实践
        • GDS实践指南
        • 教程:从OBS导入数据到集群
        • 教程:使用GDS从远端服务器导入数据
        • 调优表实践
        • 表结构设计
        • 调优表概述
        • 选择表模型
        • 步骤1:创建初始表并加装样例数据
        • 步骤2:测试初始表结构下的系统性能并建立基线
        • 步骤3:调优表操作具体步骤
        • 步骤4:创建新表并加载数据
        • 步骤5:测试新的表结构下的系统性能
        • 步骤6:调优表性能评估
        • 附录:表创建语法
        • 附录使用说明
        • 初始表创建
        • 设计调优后二次表创建
        • 外表创建
        • 数据库管理
        • SQL查询优秀实践
        • 分析正在执行的SQL
        • 数据倾斜查询优秀实践
        • 导入过程存储倾斜即时检测
        • 快速定位查询存储倾斜的表
        • 用户管理优秀实践
        • 查看表和数据库的信息
        • 安全管理
        • 基于角色的权限管理(RBAC)
        • 实现数据列的加解密
        • 常见问题
        • 计费类
        • 购买类
        • 操作类
        • 通用问题
        • 集群管理
        • 数据库连接
        • 数据导入导出
        • 帐户、密码、权限
        • 数据库使用
        • 数据库性能
        • 相关协议
        • 数据仓库服务产品服务协议
        • 文档下载
        • 数据仓库服务用户操作指南
        • 数据仓库服务用户开发指南
        • 数据仓库服务工具指南
        • 数据仓库服务SQL语法参考
        • 数据仓库服务故障排除
        • 数据仓库服务错误码参考
          无相关产品

          本页目录

          帮助中心数据仓库服务最佳实践调优表实践表结构设计
          表结构设计
          更新时间 2023-11-30 01:32:35
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2023-11-30 01:32:35
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍表结构设计的最佳实践。

          在进行调优表实践之前,需要先了解下表结构设计相关的内容。因为进行数据库设计时,表设计上的一些关键项将严重影响后续整库的查询性能。表设计对数据存储也有影响:好的表设计能够减少I/O操作及最小化内存使用,进而提升查询性能。

          本小节介绍如何设计DWS表结构(包括选择表存储方式、压缩级别、分布方式、分布列以及使用分区表和局部聚簇等),从而实现表性能的优化。

          选择存储方式

          表的存储模型选择是表定义的第一步。业务属性是表的存储模型的决定性因素,根据下表选择适合当前业务的存储模型。

          一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。

          存储模型 适用场景
          行存 点查询(返回记录少,基于索引的简单查询)。 增删改比较多的场景。
          列存 统计分析类查询(group , join多的场景)。

          表的行/列存储通过表定义的orientation属性定义。当指定orientation属性为row时,表为行存储;当指定orientation属性为column时,表为列存储;如果不指定,默认为行存储。

          使用表压缩

          表压缩可以在创建表时开启,压缩表能够使表中的数据以压缩格式存储,意味着占用相对少的内存。

          对于I/O读写量大,CPU富足(计算相对小)的场景,选择高压缩比;反之选择低压缩比。建议依据此原则进行不同压缩下的测试和对比,以选择符合自身业务情况的最优压缩比。压缩比通过COMPRESSION参数指定,其支持的取值如下:

          • 列存表为:YES/NO/LOW/MIDDLE/HIGH,默认值为LOW。
          • 行存表为:YES/NO,默认值为NO。(行存表压缩功能暂未商用,如需使用请联系技术支持工程师)

          各压缩级别所适用的业务场景说明如下:

          压缩级别 所适用的业务场景
          低级别压缩 系统CPU使用率高,存储磁盘空间充足。
          中度压缩 系统CPU使用率适中,但存储磁盘空间不是特别充足。
          高级别压缩 系统CPU使用率低,磁盘空间不充裕。

          选择分布方式

          DWS支持的分布方式有复制表(Replication)、哈希表(Hash)和轮询表(Roundrobin)。

          说明

          轮询表(Roundrobin)8.1.2及以上集群版支持。

          策略 描述 适用场景 优势与劣势
          复制表(Replication) 集群中每一个DN实例上都有一份全量表数据。 小表、维度表。 Replication优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销,同时减少了plan segment(每个plan segment都会起对应的线程)
          Replication缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。
          哈希表(Hash) 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。
          一般情况下大表(1000000条记录以上)定义为Hash表。
          轮询表(Roundrobin) 表的每一行被轮番地发送给各个DN,数据会被均匀地分布在各个DN中。 数据量较大的事实表,且使用Hash分布时找不到合适的分布列。 Roundrobin优点是保证了数据不会发生倾斜,从而提高了集群的空间利用率。
          Roundrobin缺点是无法像Hash表一样进行DN本地化优化,查询性能通常不如Hash表。
          一般在大表无法找到合适的分布列时,定义为Roundrobin表,若大表能够找到合适的分布列,优先选择性能更好的Hash分布。

          选择分布列

          采用Hash分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。

          所以Hash分布列选取至关重要,需要满足以下原则:

          1.列值应比较离散,以便数据能够均匀分布到各个DN 。例如,考虑选择表的主键为分布列,如在人员信息表中选择身份证号码为分布列。

          2.在满足第一条原则的情况下尽量不要选取存在常量filter 的列 。例如,表dwcjk相关的部分查询中出现dwcjk的列zqdh存在常量的约束(例如zqdh=’000001’),那么就应当尽量不用zqdh做分布列。

          3.在满足前两条原则的情况,考虑选择查询中的连接条件为分布列 ,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。

          对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查,以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性

          select  
          xc_node_id, count(1)  
          from tablename  
          group by xc_node_id  
          order by xc_node_id desc;
          

          其中xc_node_id对应DN,一般来说,不同DN 的数据量相差5% 以上即可视为倾斜,如果相差10% 以上就必须要调整分布列 。

          4.一般不建议用户新增一列专门用作分布列,尤其不建议用户新增一列,然后用SEQUENCE的值来填充做为分布列。因为SEQUENCE可能会带来性能瓶颈和不必要的维护成本。

          使用分区表

          分区表是把逻辑上的一张表根据某种方案分成几张物理块进行存储。这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。分区表和普通表相比具有以下优点:

          1.改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索效率。

          2.增强可用性:如果分区表的某个分区出现故障,表在其他分区的数据仍然可用。

          3.方便维护:如果分区表的某个分区出现故障,需要修复数据,只修复该分区即可。

          DWS支持的分区表为范围分区表和列表分区(列表分区8.1.3集群版本支持)。

          使用局部聚簇

          局部聚簇(Partial Cluster Key)是列存下的一种技术。这种技术可以通过min/max稀疏索引较快的实现基表扫描的filter过滤。Partial Cluster Key可以指定多列,但是一般不建议超过2列。Partial Cluster Key的选取原则:

          1.受基表中的简单表达式约束。这种约束一般形如col op const,其中col为列名,op为操作符 =、>、>=、<=、<,const为常量值。

          2.尽量采用选择度比较高(过滤掉更多数据)的简单表达式中的列。

          3.尽量把选择度比较低的约束col放在Partial Cluster Key中的前面。

          4.尽量把枚举类型的列放在Partial Cluster Key中的前面。

          选择数据类型

          高效数据类型,主要包括以下三方面:

          1.尽量使用执行效率比较高的数据类型

          一般来说整型数据运算(包括=、>、<、≧、≦、≠等常规的比较运算,以及group by)的效率比字符串、浮点数要高。比如某客户场景中对列存表进行点查询,filter条件在一个numeric列上,执行时间为10+s;修改numeric为int类型之后,执行时间缩短为1.8s左右。

          2.尽量使用短字段的数据类型

          长度较短的数据类型不仅可以减小数据文件的大小,提升IO性能;同时也可以减小相关计算时的内存消耗,提升计算性能。比如对于整型数据,如果可以用smallint就尽量不用int,如果可以用int就尽量不用bigint。

          3.使用一致的数据类型

          表关联列尽量使用相同的数据类型。如果表关联列数据类型不同,数据库必须动态地转化为相同的数据类型进行比较,这种转换会带来一定的性能开销。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  调优表实践
          下一篇 :  调优表概述
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明