searchusermenu
  • 发布文章
  • 消息中心
数据库
8 文章86 阅读1 订阅
全部 数据库 8
数据库
8 文章86 阅读1 订阅
全部
  • SQL特征搜索是数据库产品中使用比较频繁的一个技术,在某些产品中的调用频率非常高,参考数据是一个普通SQL可能存在20个以上的关键字,而数据库流量可能达到每秒50万个请求以上。因此提升SQL特征搜索的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案提出一种提升SQL特征搜索效率的方法,通过预先对SQL进行词法分析,识别出SQL中的关键字和标识符,然后直接根据关键字和标识符的偏移量进行hash值计算,再在目标特征库中进行匹配,这样一来时间复杂度降到了最低,并且避免了大量的堆内存分配。
    唐****律
    2023-12-06
    8
    0
  • 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力
    唐****律
    2023-11-28
    1
    0
  • 本方案在代理服务中为每个节点的每一种状态创建一个连接池,在每次请求之前,系统都会根据请求的信息和连接的状态选择一个合适的连接池,并从中获取一个连接进行操作。这样,用户拿到连接后,不需要进行状态同步,直接就可以复用连接进行操作,一个代理服务只要创建少量的数据库连接,即可支持大量的客户端请求。
    唐****律
    2023-10-27
    1
    0
  • SQL改写是数据库产品中使用比较频繁的一个技术,在大多数产品中的调用频率也非常高,因此提升SQL改写的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案以提高SQL改写性能为目标,从缓存方向出发,考虑如何提高缓存命中率,以减少不必要的性能损耗。考虑到参数化SQL在应用中的使用频率,使用其来作为缓存key是再适合不过了。因此处理过程中预先对SQL进行词法分析,分解为参数化SQL和参数列表,并以参数化SQL为key对抽象语法树进行缓存。如果缓存未命中,则对参数化SQL依次进行词法分析、语法分析、改写处理,最后在改写完毕之后,再结合先前记录的参数生成目标SQL,即完成完整的SQL改写过程。
    唐****律
    2023-09-18
    23
    0
  • 在用户通过代理层使用数据库的时候,如果提交了一条只读查询,那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务,那么在用户提交或者回滚事务之前,该连接不能归还到连接池,大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中,只读查询语句的查询结果是不可重复的,这时如果事务中没有其它写操作,那么是否启动事务,对于用户实际使用是没有影响的,这样则产生了不必要的事务,增加了数据库连接占用的时间,降低了数据库连接的利用率。 本发明提出一种通过延迟启动事务的方法,减少不必要的连接占用时长,提升数据库连接利用率,进而提升数据库的整体性能。
    唐****律
    2023-09-18
    8
    0
  • 对于一些数据库系统开发商来说,研发的数据库产品语法各有特色,不一定能完全兼容其它数据库产品,这时如果用户需要将原有的应用系统从旧的数据库迁移到新的数据库时,需要对这个迁移过程进行评估,以避免出现因语法不兼容的问题导致迁移后无法使用。 本方案提出一种通过监控网卡流量方式,根据对应的数据库协议解析出来用户所提交的请求,并从中提取SQL用以进行兼容性评估。
    唐****律
    2023-07-25
    18
    0
  • 当用户的系统需要从一个数据库迁移到另外一个数据库的时候,需要对数据库的命名空间进行兼容性处理,以避免数据操作错误。以MySQL系统迁移到PostgreSQL数据库为例,MySQL可以进行跨database的操作,而PostgreSQL则无法进行跨database的操作,这个时候如果MySQL用户存在跨database操作的需求,例如将数据归档存储到其它数据库,则默认命名空间行为无法实现。 本方案提出一种建立数据库命名空间映射关系的方式,在创建连接以及建立数据结构、增删改查、响应的时候对命名空间按映射关系进行修正,以达到命名空间兼容的目标。
    唐****律
    2023-07-25
    1
    0
  • 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力
    唐****律
    2023-03-16
    26
    0
全部
  • SQL特征搜索是数据库产品中使用比较频繁的一个技术,在某些产品中的调用频率非常高,参考数据是一个普通SQL可能存在20个以上的关键字,而数据库流量可能达到每秒50万个请求以上。因此提升SQL特征搜索的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案提出一种提升SQL特征搜索效率的方法,通过预先对SQL进行词法分析,识别出SQL中的关键字和标识符,然后直接根据关键字和标识符的偏移量进行hash值计算,再在目标特征库中进行匹配,这样一来时间复杂度降到了最低,并且避免了大量的堆内存分配。
  • 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力
  • 本方案在代理服务中为每个节点的每一种状态创建一个连接池,在每次请求之前,系统都会根据请求的信息和连接的状态选择一个合适的连接池,并从中获取一个连接进行操作。这样,用户拿到连接后,不需要进行状态同步,直接就可以复用连接进行操作,一个代理服务只要创建少量的数据库连接,即可支持大量的客户端请求。
  • SQL改写是数据库产品中使用比较频繁的一个技术,在大多数产品中的调用频率也非常高,因此提升SQL改写的效率是提升数据库产品质量中非常重要的一项工作,它可以直接降低性能损耗、减少内存占用、减少请求处理时间,提升产品的整体性能。 本方案以提高SQL改写性能为目标,从缓存方向出发,考虑如何提高缓存命中率,以减少不必要的性能损耗。考虑到参数化SQL在应用中的使用频率,使用其来作为缓存key是再适合不过了。因此处理过程中预先对SQL进行词法分析,分解为参数化SQL和参数列表,并以参数化SQL为key对抽象语法树进行缓存。如果缓存未命中,则对参数化SQL依次进行词法分析、语法分析、改写处理,最后在改写完毕之后,再结合先前记录的参数生成目标SQL,即完成完整的SQL改写过程。
  • 在用户通过代理层使用数据库的时候,如果提交了一条只读查询,那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务,那么在用户提交或者回滚事务之前,该连接不能归还到连接池,大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中,只读查询语句的查询结果是不可重复的,这时如果事务中没有其它写操作,那么是否启动事务,对于用户实际使用是没有影响的,这样则产生了不必要的事务,增加了数据库连接占用的时间,降低了数据库连接的利用率。 本发明提出一种通过延迟启动事务的方法,减少不必要的连接占用时长,提升数据库连接利用率,进而提升数据库的整体性能。
  • 对于一些数据库系统开发商来说,研发的数据库产品语法各有特色,不一定能完全兼容其它数据库产品,这时如果用户需要将原有的应用系统从旧的数据库迁移到新的数据库时,需要对这个迁移过程进行评估,以避免出现因语法不兼容的问题导致迁移后无法使用。 本方案提出一种通过监控网卡流量方式,根据对应的数据库协议解析出来用户所提交的请求,并从中提取SQL用以进行兼容性评估。
  • 当用户的系统需要从一个数据库迁移到另外一个数据库的时候,需要对数据库的命名空间进行兼容性处理,以避免数据操作错误。以MySQL系统迁移到PostgreSQL数据库为例,MySQL可以进行跨database的操作,而PostgreSQL则无法进行跨database的操作,这个时候如果MySQL用户存在跨database操作的需求,例如将数据归档存储到其它数据库,则默认命名空间行为无法实现。 本方案提出一种建立数据库命名空间映射关系的方式,在创建连接以及建立数据结构、增删改查、响应的时候对命名空间按映射关系进行修正,以达到命名空间兼容的目标。
  • 针对以下几种场景:1、数据库代理层的客户端提交一些耗时长较长的数据处理请求,同时后端数据库活动连接数量超过警戒值;2、数据库代理层的客户端提交的同一类型的请求数量占比过大,同时系统处理能力达到警戒值(处理线程池空闲线程占比较小);3、数据库代理层的客户端提交的各种类型的请求数量较为均匀,但是系统处理能力达到警戒值(处理线程池空闲线程占比较小)。以上的场景都有可能导致数据库系统处理能力下降甚至失去响应。 通过对以上指标的实时计算,在数据库代理服务中针对场景1进行前端拦截+后端按耗时按比例进行销毁以保持一个数据库性能低消耗的水平;针对场景2直接拦截新增的对应类型的请求以保持同类型请求数量占比保持在警戒线以内,直到实时计算结果正常为止,避免资源耗尽;针对场景3拦截新增的耗时在平均水平以上的类型请求,直到实时统计结果正常为止,首先保证资源占用较少的请求的可用性,以保证数据库的处理能力
  • 没有更多了