The English version of CloudQuery is officially launched!

V 2.4.0 发布:CQ上架天翼云市场,新增 Hive、Impala、Vertica 三大数据源!!!

 二维码
发表时间:2023-09-19 17:08作者:喜提新版本的


哈喽,大家好!又到每月发版时间,本次 CloudQuery 社区版又为大家带来哪些新体验呢?我们一起往下看!(拉到文末,预约操作演示直播)


本次更新快览:
  • 新增三大数据源:Hive、Impala、Vertica
  • 审计分析新增越权操作、高危操作、慢 sql、用户授权视图明细
  • 新增监控功能
  • 数据保护功能完善
  • 数据字典功能完善
  • 去 Message
  • ……

#1

新增功能

三大数据源新增


在 V 2.4.0 中,我们新增了 Hive、Impala、Vertica 三大数据源的支持,对这些数据源支持权限管控、数据保护、审计分析等。目前 V 2.4.0 总计支持 14 个数据源。详细情况见下表:




新增越权操作、高危操作、慢 SQL、用户授权试图明细


在 V 2.4.0 及以前,系统中所有的操作行为都被统一打包记录在语句明细或操作明细中,用户只能通过这两个维度来进行查看,针对部分用户比较关注的类型操作,没有做到详细的分块展示。

V 2.4.0 在审计模块中,将数据按照不同的维度进行了划分,更清晰的展示了用户的行为动作,包括高危操作、越权操作、慢 SQL、用户授权详情示图。

示意图:



新增监控功能


V 2.4.0 支持了容器监控和主机监控,能够实时监控系统的 CPU 内存、网络 I/O、磁盘 I/O ...... 使用情况。

示意图:


#2

功能完善

数据保护功能完善


在 V 2.4.0 及以前,数据保护模块中对字段设置的脱敏算法对全局用户生效,无法满足不同等级用户查表时数据脱敏差异化。即:只要对数据库表中的某个字段设置了脱敏算法,所有用户查表时都呈现脱敏效果。

而在 V2.4.0 版本中,新增的策略功能可以通过配置策略条件,来决定哪些用户或某个时间段可明文查看数据。


示意图:

在脱敏字段模块,选择提前设置好的脱敏字段详情中,选择「策略」即可添加条件。



数据字典功能完善


在 V 2.4.0 及以前,只能由连接管理员、或 DBA 角色通过手动在「资源纳管」中进行同步,资源纳管的「禁用/启用」操作可能会导致资源中涉及的权限和关联用户被回收,并不能作为数据字典的同步任务入口。

因此,在 V 2.4.0 中增加了「手动同步」和「定时同步」任务。

  • 「手动同步」任务即在用户进行数据操作时,能够直接在 sdt 树右键菜单上进行同步。

  • 「定时同步」任务即系统定时同步数据字典,确保数据的统一性。


去 Message


V 2.4.0 及以前版本 Message 服务只有执行消息、导入导出结束消息的通知,没有其他功能;消息通知方式使用 WebSocket 方式实时通信;前后端的 WebSocket 经常发生断联,又没有较好地设计出 WebSocket 的恢复断联方式,一旦出现断联前段频繁发起 Websocket的建立请求,并且断联后执行会卡死。


更新点:

Message 模块的功能少,没有必要再已单独模块启动,将 Message 核心接口作为依赖包,供其他服务依赖,无需再单独起动一个服务,减少资源消耗。


Message 主要功能是执行消息的推送;使用 Websocket 协议的消息推送不利于 K8s 集群的搭建;于是将执行消息的推送,改为前端轮训执行结果,就无需 Message 服务;


其他功能更新点:

  • 数据操作、连接管理模块支持 SDT 树拖拽

  • 数据保护新增脱敏仿真算法

  • 数据字典同步支持手动同步和定时同步两种同步方式


功能优化

  • 审计分析下钻优化,下钻到最后一层级支持跳转至明细

  • 创建连接时新增是否开启所有资源开关,让用户自定义创建连接时是否需要启用所有 Schema


Bugfix

  • 修复了 SQL Server 临时表相关 Bug

  • 消息通知:修复了在流程申请过程中,无法收到流程流转的邮件通知

  • 结果集页面无法关闭

下一版本会持续进行产品完善,大家如果在使用过程中有任何问题或建议,欢迎进入 CloudQuery 官网提工单



特别鸣谢

感谢 @Samg、@雨哲 两位小伙伴的反馈!CloudQuery 时刻关注大家的使用体验,鼓励大家多提问题与建议,一起参与 CloudQuery 的建设!