The English version of CloudQuery is officially launched!

CQ 社区版 2.9.0 | 新增告警配置、GaussDB-DWS、脱敏数据可明文查询等

 二维码
发表时间:2024-02-28 15:59作者:CloudQuery


春节已过,大家又开始了忙忙碌碌新的一年。新的一年,CloudQuery 依旧会陪伴着大家,带来更多新的功能和突破!


下面就让我们来看看,本月 CloudQuery 社区版 2.9.0 在各个模块都有哪些值得关注的更新吧~



图片

新增功能


系统管理:新增告警配置、开放角色管理二级菜单


告警配置:支持系统告警和业务告警配置


社区版 2.9.0,新增了 CQ 平台的告警配置功能,能够灵活地设置和定制各种告警规则和参数,增强了对系统运行状态的实时监控能力,提供预警机制。


本次增加的「告警配置」主要包括「系统告警配置」和「业务告警配置」。


1. 系统告警配置


系统告警配置主要是针对 CQ 平台在使用性能上的告警配置,包含 CPU 使用率超过阈值、内存使用率超过阈值、系统异常、文件上传大小超过阈值、导入任务数超过阈值、文件读取大小超过阈值、文件上传大小超过阈值、license 剩余天数超过阈值。


图片


2. 业务告警配置


业务告警配置主要针对平台纳管数据库在操作上的告警配置,业务告警类型目前包含越权操作、高危操作、慢 SQL、批量操作。


图片


「告警配置」的使用 Tips


「系统告警配置」的阈值调整


在「系统告警设置」中,告警类型的阈值都可进行设置。其中有三种类型的阈值需要注意,为:「文件大小」、「导入任务数」、「文件读取大小」


⚠️ 这三种类型的阈值需要与「系统设置」-「基础设置」中的保持一致,一处变动另一处也应跟着变动。


告警方式


目前可选择的告警方式有两种:系统消息通知(默认)、邮件通知(需进行邮件配置)。


消息接收


「系统告警」的消息接收人类型只有「个人」,消息接收人默认为超级管理员(admin),可修改具体的接收用户。


「业务告警」的消息接收人类型有个人、部门负责人和连接管理员。选择「部门负责人」和「连接管理员」即无需选择消息接收人;选择「个人」则需要选择消息接收人,消息接收人支持多选。


下图即为告警触发后系统管理员收到的系统消息通知

图片



角色管理:系统角色开放二级菜单勾选权限


以往版本中,「角色管理」中对于不同角色的授权我们只能勾选到一级菜单,比如对「DBA角色」开放「审计分析」模块的权限,默认开放整个模块的权限。


本次版本,增加了二级菜单的勾选权限,如对「DBA角色」开放「审计分析」模块权限,可选择该模块下审计概览、对象审计、用户审计、权限看板部分开放。


图片



批量执行


「批量执行」功能加入到「工具权限」控制


对于「批量执行」的功能,在本次版本中加入到了「工具权限」中。可通过权限来控制哪些连接可进行批量操作,并选择对哪些用户生效。


「批量执行」的使用路径


⚠️「批量执行」权限设置


「数据库管理」-「手动授权」,连接层级下用户的「工具权限」-「右键菜单」,可勾选「批量执行」。


图片


用户使用路径


「数据操作」- SDT树对应连接-右键菜单


图片



增加脚本替换功能


过往版本中,在创建批量执行任务后,脚本在执行过程中遇错终止后若想重新使任务执行完成,只能重新创建一个任务,这样就需要将前面执行成功的部分再执行一遍,效率较低。


因此在这个版本中,我们增加了创建批量任务后的「脚本替换」功能。在完成批量任务创建后,在「任务详情」-「执行详情」可以替换脚本。


图片


⚠️ 「脚本替换」注意点

脚本替换时只支持替换同名的脚本,因为创建完批量任务后就已经生成了顺序文件,替换的脚本必须是同名同格式脚本,否则会提示脚本上传不正确



「批量执行」的其他功能优化


  • 上传脚本支持自动转换字符utf-8

  • 上传文件限制,仅支持上传纯文本文件,不允许上传图片、excel、视频等格式的文件

  • 增加 sqlplus 命令处理,不执行 sqlplus 命令,但会记录在日志中

  • 批量任务日志下载支持错误日志归档,即一个任务中日志下载包括全量日志和错误日志两个文件



数据操作:SDT树、SQL编辑器、结果集、导出等优化


SDT 树模块优化


  • SDT 树连接名增加「修改别名」功能


针对不同用户使用同一个连接,场景不同连接名也可能不同,在之前的版本,连接名由创建者决定,使用者不允许修改连接名。


本次更新,针对连接对用户开放「修改别名」的功能,修改别名后仅对自己可见,其它用户看见的还是原连接名。


图片


  • SDT 树排序优化,所有数据库对象排序默认按字符集顺序


SQL 编辑器优化


  • SQL 编辑器支持 Ctrl+鼠标左键点击/Alt+s 的方式选中一条完整的SQL


图片


  • 支持选中语句进行导出,不需要查询完结果从结果集中导出


本次更新,支持对 SQL 编辑器内语句进行直接导出。选中语句即可进行「导出选中语句」,不需要执行完结果后再导出。


图片


⚠️ 「选中语句导出」权限设置


「数据库管理」-「手动授权」,连接层级下用户的「工具权限」-「导出功能」全选。


图片


  • 语句执行结果细分:解析失败/鉴权失败/审核失败/执行失败/执行成功


SQL 编辑器以及批量执行中语句操作过程大致分:解析-审核-鉴权-执行,数据变更中语句操作过程大致分:解析-执行。


目前所有语句的操作结果都分为失败/成功两种,并未指明是哪个流程中执行/失败,只能在错误信息中查看。本次 2.9.0 中,我们将语句的具体执行状态结果展示出来,将执行结果细分为解析失败、鉴权失败、审核失败、执行失败、执行成功


图片


  • 数据操作模块「执行日志」增加清除日志功能


图片


结果集增加明文查询功能


结果集工具栏中增加了「明文查看」功能。针对结果集中有敏感数据并且开启了复核的数据源,能够进行明文查询。明文查询时需要输入管理员提供的复核码,通过后即可查看明文数据。




图片




⚠️ 「明文查询」注意点

只有当查询的结果集中包含敏感数据,并且在「手动授权」-「基础配置」-「同步复核方式」开启了「otp 复核」,结果集工具栏中才会显示「明文查看」图标。



Excel 文件导出增加水印


在「系统设置」-「水印设置」中,增加了「EXCEL 水印设置」,设置完成后,系统中所有导出的 EXCEL 文件都会带上对应水印。


图片


数据保护:新增脱敏命中率设置、增加检索功能


数据脱敏新增设置脱敏命中率


之前收到了一些小伙伴们的反馈,表示在进行脱敏设置后,结果集中只有被规则匹配到的数据才会脱敏,没有匹配到的则不脱敏。但在实际场景中,无法保证某一字段的数据一定是同类型,可能存在脏数据或者一些错误数据。


基于这种情况,我们决定把是否脱敏的决定权交给用户。因此,在本次版本中,我们增加了「脱敏命中率」的设置。


在「数据保护管理」-「脱敏数据」中,用户可以自定义脱敏规则的采样数据和命中率,达到命中率就会对结果集中所有数据进行脱敏。


图片


数据保护管理增加检索功能


有些情况下,我们可能知道库名是什么,但不清楚在哪个数据库连接下。因此开放了资源检索的能力。原来资源检索只在数据操作 sdt 树和连接管理中,本次更新,在「数据保护管理」-「资源列表」中也增加了检索功能。


图片



授权:自动授权优化创建权限集、增加生效时间选项


自动授权优化了权限集部分功能


  • 权限集策略优化


在编辑策略时,测试时支持检索所有用户并展示命中策略条件的用户。


图片


  • 对权限集内不同层级的权限继承做了页面回显的优化


CloudQuery 权限集中对于不同层级之前的权限继承逻辑是:上一层级配备的权限会自动继承给下一层级,而下一层级又可单独再进行权限配置。


本次更新,我们则对权限集中不同层级之前的权限关系做了页面回显的优化:


1. 在配置完上一层级的权限后,打开下一层级默认显示从上一层级继承的权限。

2. 在下一层级完成权限调整后,如果和上一层级权限不一致,则会在上一层级给出相关提示:“此层级下存在其它权限设置,重置将清空下层级权限设置”

3. 在右侧增加了权限集权限浏览窗口,可快速查看该权限集下权限配置情况


图片


授权时增加「生效时间」选项


目前,在「手动授权」中进行授权操作时,授权完生效时间即是“永久”,而用户进行提权申请时支持选择「生效时间」。

因此,在授权时我们增加「生效时间」字段,管理员进行用户授权时可选择「永久」或「自定义时间段」。


图片



数据源支持:新增 GaussDB-DWS、Oceanbase 终端


新增数据源:GaussDB-DWS


在数据源支持方面,本次 2.9.0 新增了 GaussDB-DWS,支持版本为 DWS 2.0、DWS3.0。


图片



Oceanbase:开放终端能力


针对 Oceanbase 数据源,开放了对应终端功能。现在,在「数据操作」 SDT树右键,即可打开终端。


图片


Oracle:合并包和包体


针对 Oracle 数据库元素,我们合并了「包」和「包体」,统一为「包」。


图片



流程管理:工单「催一下」增加时间限制


用户提交的流程申请,针对在「待审核」状态下的流程可进行「催一下」操作,为避免用户频繁点击,对该功能增加点击操作的时间间隔,每次操作间隔为 60s。


图片



审计分析:记录事务提交过程


在过往版本中,对于“事务是否提交”并未加入到审计的语句明细中,无法判断执行的语句是什么事务,是 rollback 还是 commit。


社区版 2.9.0,在审计分析语句明细中增加一条记录,即记录用户在打开窗口时,就记录开启事务,再记录一些语句明细,最后记录是 rollback 还是 commit。


图片


图片

Bugfix


  • 修复了密码设置报错提示不清晰的问题

  • 修复了申请流程如果撤回目前支持删除的问题

  • 修复了手动授权对表对象进行搜索时只能搜索到当前页的表的问题

  • 修复查询结果总行数显示为 -1 的问题

  • 修复手动授权左侧搜索框,大写可以搜索出来小写,小写搜索不出来大写的问题

  • 修复了 oscar 数据库选择具体的 schema 上执行 sql 报错的问题

  • 修复了系统管理-系统设置-水印设置,点开帮助图标文案错误的问题


新版本下载


下载地址:https://www.cloudquery.club/download

帮助文档:https://bintools.yuque.com/org-wiki-bintools-xniowl/do4ums


用户反馈


工单入口:https://www.cloudquery.club/login


特别鸣谢

感谢社区 木头人、李书阳、干饭第一名、青红皂白、Rollwithit、汤永达、拉风_zhang果爸、OutMan、王甫晓、叶信光同学的反馈!CloudQuery 仍在成长,我们珍视每位用户的使用体验,鼓励各位多提问题与建议,一起参与 CloudQuery 的建设!


如果有更多你想要的功能/待优化的体验,欢迎添加小助手在社群告诉我们哦


图片