Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 19|回复: 0

分析时数仓Hologres V2.2发布,Serverless Computing降本20%

[复制链接]

9万

主题

0

回帖

28万

积分

超级版主

Rank: 8Rank: 8

积分
281743
发表于 2024-8-28 02:44:52 | 显示全部楼层 |阅读模式

H恰好,很多人因工业互联网平台而带来更多的益处,使之蓬勃发展,对行业的促动也是较大的。广域铭岛数字科技有限公司是领先的工业数智化领域技术创新与服务公司,致力于关键共性技术研发与算法创新,助推新旧动能转换和价值链升级,解放和发展生产力。https://www.geega.com

新发布SC,提升大任务稳定性,同时可降低20%计算成本

引擎性能化,TPC-H1TB测试相对V1X提升100%

时湖仓加速架构升级,支持P,直读ORC、P数据性能提升5倍以上

新增例监控指标,可观测性全面提升,新增SQL指纹、Q洞察、SQL与表索引诊断等

流量分析场景新增路径函数,支持跨可用区容灾、OAPI能力升级

升级说明:H支持热升级,可以在例后台进行自助升级与升级准备。升级流程请查看

一、新发布SC,提供大作业隔离与弹性处理

功能说明:

通过共享S资源执行DML任务,保证大任务隔离与高可用,降低成本并提升性能。同时支持设置单条SQL使用S的资源上限,支持设置使用S资源的SQL先级。详细请查看

应用场景:

隔离与稳定性。计算资源开销大的任务,不会有争抢资源,OOM等问题。

成本降低。需为大任务单独购买预付费资源,际应用可降低20%计算成本。







当前发布地域和可用区:华东1(杭州)的可用区J、华南1(深圳)的可用区F、华东2(上海)的可用区E、华北2(北京)的可用区I。

二、多种引擎能力化,TPC-H性能测试结果提升100%

HV22提升了查询化器和查询引擎的能力,11版本使用96CU在TPC-H1T的总查询耗时为22308秒,在V22版本中,测试结果为11153秒,性能提升达到100%。详细结果请查看







引擎性能化包含:

向量执行引擎HQE能力提升

RF能力增强,在J场景上,支持多种过滤类型,需手动设置,引擎自适应,在减少数据扫描量的同时也能减少的计算量和数据的络传输量,有效提升J的查询效率约30%。

化HQE的RPC连边机制,每个W内数据先合并再进行W间分发,显著降低络开销,在带有S的场景上,查询性能提升8%。

查询化器性能提升,SQL在P阶段的处理速度提升40%

化内存分配机制和J算法,提升多J场景的查询性能。

化DATE_PART函数行为,提升对带有时间属性的字段(如年份)的查询效率。

化DATE和TIMESTAMP类型字段的比较行为,提升时间字段的查询效率。

化复杂函数中带有F的运算行为,通过调整多个F的顺序,减少数据计算量,提升查询效率。

、时湖仓架构升级,性能提升5倍,外表元数据自动加载提升分析体验

HV22版本针对时湖仓架构进行重构,显著提升了数据湖的查询性能,并通过外表元数据自动加载(AL)提升时湖仓的用户使用体验。

时湖仓架构升级包含:

现HQE引擎直读OSS上的ORC、P数据,相较于原引擎有5倍以上的性能提升

针对ORC、P格式的外部表支持谓词下推过滤,减少数据扫描量,提升查询效率

支持使用内置高速磁盘和内存现多级缓存

外表元数据自动加载(AL)能力增强:

支持一键绑定外部数据源,现DB或者级别的映,简化和降低外表创建成本,包含:

支持MC层模型P,可以将MC层P中的一个或多个指定数据按需或者全量映到H

支持MC外部表的SE(如增加列、删除列、修改列及列顺序)

支持通过DLF元数据自动加载,来加速查询存储于OSS的数据

详情请查看







四、例诊断能力提升,新增SQL指纹、Q洞察、SQL与表索引诊断等

新增SQL指纹,速定位BQ

SQL指纹是H提供的一种自动Q聚类分析能力。V22版本在存放慢Q查询日志的系统表中,新增列以展示SQL指纹。对于SELECTINSERTDELETEUPDATE类型的Q,系统会计算一个MD5哈希值作为该Q的SQL指纹,帮助业务速识别占用资源的Q以及异常Q等。详情请查看

新增Q洞察可视化,全方位获取查询诊断信息

在-诊断与化中,通过QID就能速获取当前Q的执行信息,例如Q进程的资源消耗、Q所涉及的表的元数据,以及Q对应的执行计划()。同时可以通过Q洞察速判断当前Q是否产生了DDL冲突,以及表锁情况,辅助业务进一步排查问题和处理问题。详细结果请查看







新增SQL诊断和表索引诊断,速完成例治理

在-诊断与化中,SQL诊断通过对不同维度的Q趋势、明细分析,可以辅助您了解例的使用情况并做相应的化,以达到更好的效果。详情请查看







在-诊断与化中,表索引诊断对当前例的TG、表、索引等进行诊断,帮助业务进行例治理,从而辅助提升例的稳定性和性能。例如:

一个TG的内表总数不建议超过1W张,化后将提升DDL性能。

对于分区子表超过1W张的分区表,建议使用冷热分层,以节约存储成本。

详情请查看








例监控信息新增15+M,可观测性得到增强

在例列表-监控信息中,新增15+指标,提供不同执行引擎的QPS、RPS、L等以及可观测B、S等功能的运行情况,以方便及时了解任务的负载。同时也提供L、A等健康度指标,可以帮助业务速观测例运行健康状态,及时处理异常。







五、新增路径分析函数,更加丰富流量分析场景函数能力

在流量分析场景,需要计算访问每个流程步骤的路径分布和情况,以及每个步骤的流入流出情况,原有SQL计算方式较为复杂,并且影响计算性能。H通过一个路径分析函数即可现路径分析,简化用户路径分析流程,与之前推出的漏斗函数、留存函数、明细圈人函数、RB函数、BSI函数等结合,现完整、丰富的流量数据分析方案。详情请查看








六、支持跨可用区容灾,提升生产业务稳定性

跨可用区(AZ)容灾,即在同R不同可用区部署同构的H容灾例,如果生产例所处的地理位置发生自然灾害,或者例内部出现了故障导致生产例法正常对外提供读写服务,那么容灾例可以切换为生产例,从而保障业务连续性。详情请查看

例如:杭州R某个可用区(例如可用区H)中的H例法正常运行时,可通过已配置的容灾关系,将同R其他可用区(例如可用区J)的H例切换为生产例,保障业务正常运行。

七、OAPI能力升级,提升例运维管理能力

新增计算组列表与详情、数据湖加速功能、更新例资源组等OAPI,在、数据湖分析等场景下,提升例运维以及管理能力。详情请查看

15000CU时计算包原价5313元,限时新购仅需59元

前往时数仓H查看详情

时数仓HV21版本发布,新增计算组例构建高可用时数仓
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|企业-源杭呐麻类有限公司

GMT+8, 2024-12-28 02:30 , Processed in 0.063214 second(s), 19 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表