The English version of CloudQuery is officially launched!

CQ 新版本 | 2024 收官,年度GA版本来啦!

 二维码
发表时间:2025-01-03 13:37

2024已收官,在2025开启之际,我们面向所有用户开放的 GA(稳定)版本终于来啦!GA 版本发布的功能经过了内部深度测试,也经过了至少两个月的可靠性认证,是更为稳定的版本!


本次更新版本号为 v2024.12,基于 v2024.8 增加了大量新功能。本文将通过「9-11月重大新增功能回顾」及「12月版本更新」两部分来阐述这一阶段CloudQuery的最新成果~

#1

重大新增功能回顾

  • 支持k8s、helm部署

  • 新增 oracle 调试器(使用手册 https://bintools.yuque.com/org-wiki-bintools-xniowl/do4ums/lrig3c1pye1uhqho)

  • 连接管理增加连接新概念:活跃连接、问题连接、归档连接

  • 授权模块增加「快速使用权限模板」的功能

  • 支持全文搜索

  • 导出权限可控制到表层级

  • 数据复制功能支持单表-多表、多表-单表的数据复制能力

  • 审计概览增加图表切换、自定义统计时间

  • 「自定义审计指标」增加 SQL 模式,可通过直接编写 SQL 语句生成表单并实现智能图表展示

  • 在审批流中引入“审批人组”的概念,开放了审批人的选择。

  • 【基础设置】增加多配置,如“导出文件下载限制”、“工具权限设置”、“调试地址设置”等在数据订正的工单详情页中,增加「执行变更日志」和「SQL 审核日志」

  • MongoDB 支持数据变更

相关链接

2024.9 | CQ 社区首个尝鲜版发布啦!

CQ社区版 v2024.10 | 支持k8s、helm部署!

CQ 社区版 2024.11 | 新增“审批人组”概念、可通过SQL模式自定义审计图表……

#2

12月版本更新

手动授权


我们收到部分用户反馈,实际业务场景下,在使用客体授权功能时,对于临时的权限无法实现快速授权单个命令权限。


因此在本次版本中,我们在 CloudQuery 客体授权页面新增了「附加操作权限」,同时优化了工具权限。


新增附加操作权限


操作入口:【数据库管理】-【手动授权】-【客体授权】-【附加操作权限】


图片


图片


对于用户的临时权限授权,无需用户手动申请,无需管理员更改权限等级。


点击附加操作权限的「添加权限」,选择需要的操作权限和生效时间,即可完成附加操作权限的授权,用户所拥有的全部权限即为“权限等级+附加操作权限”。下侧立即新增对应的附加操作权限详情记录。


图片


图片


工具权限优化


操作入口:【数据库管理】-【手动授权】-【客体授权】-【工具权限】


step1:将工具权限原有分离的生效时间编辑和权限编辑合并为“管理”


图片


图片


step 2:点击添加权限,进行授权


点击添加权限,选择需要的工具权限和生效时间,确定后即可完成此页面工具权限的授权,下侧立即新增对应的工具权限详情记录。


图片


访问规则支持批量导入


访问设置支持批量导入/导出/删除访问规则


操作入口【系统管理】-【系统设置】-【访问设置】


  • 点击导入访问规则的按钮,选择下载模板后填写内容,上传时可选择导入遇到错误时终止/忽略导入。


图片


上传完成后即可看到导入的访问规则和对应的绑定用户。


图片


  • 多选访问规则,在批量操作中选择批量导出访问规则,即可快速导出多个访问规则


图片


图片


  • 多选访问规则,在批量操作中选择删除批量访问规则,即可快速删除多个访问规则


图片


图片


访问设置支持导入多个来源 IP


操作入口【系统管理】-【系统设置】-【访问设置】


访问设置支持导入多个来源IP,点击新增「访问规则」,支持填写多个来源IP,以逗号做分隔符。


图片


图片


无权限提示入口设置的全局设置


在【系统设置】-【基础设置】中,增加了“无权限提示入口”的全局设置。


图片


如果管理员在【基础设置】中选择对应的入口后,当用户在编辑器中执行 SQL 时执行日志提示无权限,则可以提供[申请提权]或[申请数据订正]的入口。


图片


若未选择入口,则在SQL的执行日志中只提示报错信息,无法选择提示入口进行操作。


图片


自定义的系统水印设置


  • 在[系统管理]-[系统设置]-[水印设置],支持自定义的系统水印效果。

  • 支持自定义系统水印的颜色、颜色透明度、水印字号、水印间距,点击预览即可查看自定义水印的效果。点击保存后,水印效果立即在页面生效。


图片


功能菜单模块的调整


  • 功能菜单模块优化,将一级菜单的数据保护管理统一移动至数据库管理


图片


  • 将一级菜单的监控移动至系统


图片


  • 根据功能菜单模块的优化,在角色管理中,同步将系统默认角色的菜单模块进行对应调整


图片


连接管理和授权的部分功能优化


  • 在批量新建连接,模板中新增【获取此连接所有访问权限】的下拉选项。用户批量创建连接时若选择true,则创建后将自动拥有连接的所有访问权限。

  • 客体授权中,同步复核新增审批人组选项,可从资源的审批人组中选择审批人作为同步复核审批人。

图片


审计部分功能优化


  • 审计分析-审计概览-操作记录,新增授权记录,根据操作类型进行区分(主体授权、客体授权、自动授权)

  • 审计信息优化,新增记录数据库连接报错信息,优化自动授权的审计信息

  • 审计,开放OpenAPI


基础设置增加多项配置


  • 系统管理-系统设置-基础设置,新增级联移除的全局设置,默认为级联移除。选择级联移出后,在[客体授权]移除的弹框中将自动勾选级联移除。

  • 系统管理-系统设置-基础设置,[工具权限设置]新增支持导出功能的选择。


图片


SQL 编辑器的部分功能优化


  • 数据操作的SDT中,再连接节点悬停,支持展示连接的连接名和备注

  • greenplum支持结果集中点击右键生成单行SQL语句

  • greenplum数据库,支持在SDT中右键的查看表结构中,在DDL语句中展示partation语句部分

  • 数据操作SDT的数据库元素包括:MySQL、SQLServer、GreenPlum、TDSQL、GaussDB、Oracle、StarRocks),在SDT的列组展示时,新增支持字段类型和长度一起展示

  • 数据操作中,对结果集多个查询语句的导出任务,压缩包内的文件命名方式优化为:顺序_表名(多表就用跟在where后的第一个表名)_时间戳

  • 数据操作,在结果集右键的结果集生成功能,支持默认复制生成的语句,用户可以任意ctrlv或粘贴在编辑器或本地其他地方;支持在结果集中选中多行,生成多行的sql语句

  • 数据操作,结果集的优化,包括:结果集支持 ctrl a,选中当页全部数据;ctrl c复制当前选中数据;结果集的选中效果颜色在不同模式下的展示区分

  • SQL编辑器优化,支持选中SQL进行大小写转换

  • 标签页右键支持设置连接的颜色,对不同连接的tab通过颜色区分展示SQL编辑器工具栏的遇错执行选项,新增文案提示“勾选此项,SQL语句执行遇到错误时将忽略错误并执行后续语句”

  • 执行语句时日志里在错误语句右侧固定展示 跳转按钮,点击图标自动定位至编辑器的对应语句


部分数据源的功能优化


  • oracle支持私有同义词和dblink的查询

  • 优化oracle编码问题,oracle us7ascii存中文

  • Hive数据源,新增验证模式Kerberos,支持通过Kerberos连接hive

  • PolarDB数据源,支持集群模式新建连接

  • OceanBase数据源,支持BLOB字段,存储的二进制文件查看或下载

  • ClickHouse的使用优化,包括内存持续增长问题

  • OB-mysql支持数据复制、静态脱敏、自动提示补全

  • 数据库管理-规则管理,支持Oracle和PostgreSQL的create、delete、update、read操作的行数sql审核

  • BLOB字段,在结果集中展示文件大小

  • Hive、Impala数据源支持SDT的表和视图 同步数据字典


其他新增功能及优化


  • 权限到期,当事人在消息通知中会收到过期消息通知,并标识[重要]的图标,在通知中点击后即可跳转至原有工单进行再次申请


图片


  • 系统管理-用户管理,外部部门的图标标识优化为黄色展示

  • 数据库管理-手动授权-客体授权,优化移除操作中级联移除的样式

  • 密码到期策略优化,超出密码有效期的用户仍可登录,登录后需要强制改密

  • 系统管理-系统设置-日志暴露配置,新增Kafka日志暴露配置

  • 安装包文件合并优化减少文件大小

  • k8s、docker环境下的性能优化

  • 数据保护的脱敏配置导入,文件下载格式为excel,上传格式为csv、excel

  • 文本导入,支持导入的同时创建新表

  • 导出的操作,生成任务后自动点击下载(不需要手动点击下载按钮)

  • 数据变更的SQL审核规则新增支持对象是否存在、语法(已展示状态,暂不支持详情)、影响行数、脚本字符集与数据源字符集不一致禁止提交、cost值消耗

  • 个人中心的个人设置,结果集时间显示格式的自定义配置

  • 搜索功能全部优化支持大小写不敏感和模糊搜索

图片