这周三，我们和社区用户都唠了点啥？

CQ 社区 23 年最后一场线上直播，在 12 月 27 日正式拉开序幕，本期直播图尔兹的解决方案经理任文钧、总架构师杨波、CQ 产品经理徐建霞以《安全、效率、成本：混合云数据库管理的三重挑战！》为主题分别和大家分享数据库安全管控的最佳策略、CQ 的技术优化点以及 24年 CQ 产品规划。本篇文章将对本期活动进行回顾。

直播过程中 5 位 CQ 社区用户也和大家分享了他们业务痛点、选型过程、以及对 CQ 的建议，关于收集到的问题回复，我们会在下篇文章一一进行解答。

当我们面临数据库形态数量爆发增长与日益严格的安全法规约束时，CloudQuery 能够解决数据资源安全管控的问题，从而提高了工作效率并满足安全合规要求。

在一些数据库管控场景，“一管就死，一放就乱”时有发生，传统的数据库管控方式已无法满足现阶段越来越严格的政策合规和企业内部管控要求，例如灵活粒度权限管控、数据库审计操作信息、数据防泄露等，给我们业务系统的日常操作带来挑战。因此，我们引入数据库安全管控工具。在考虑数据库安全管控工具时，我们主要关注满足基本功能需求的前提下，如何兼顾效率和安全。

数据库管控现状及问题

大家选择 CQ 的一些考虑因素包括：

• 多种数据源的支持

• 支持国产、商业、开源数据库，支持RDBMS、NoSQL、HTAP、MPP、BigData各种类型数据源。

• 灵活粒度权限控制

• 提供比数据库内置权限体系颗粒度更灵活的权限控制能力，多样化的授权方式和自定义组合安全策略。

• 数据访问保护

• 对明文敏感数据支持动态脱敏，控制数据查询和导出数据量，结果集水印防范数据泄露。

• 操作审计分析

• 精准完整记录用户对数据库的所有SQL访问和操作日志，通过不同维度对操作进行审计分析和溯源，弥补传统审计方式数据库操作和用户账号信息无法对应的问题.

• 企业级集成能力

• 与企业内部的用户系统、流程工单、审计中心等管理平台无缝集成，形成一体化的管控体系。

• 流程协同

• 将在客户端上的日常操作和流程申请有效衔接，操作、变更、权限申请、赋予一站式搞定。

• 数据库权限安全策略

• 根据不同使用场景，通过手工批量授权、自动策略授权、分级授权满足各种权限灵活管控需要，收敛传统比较分散的人员数据访问安全隐患.

• 一套账号权限体系

• 数据库权限体系上移，通过平台在事前对数据对象访问鉴权防范，事中对操作对象监控，事后溯源数据分析，有效支撑数据库层面安全标准化、规范化、常态化管理。

距离 CloudQuery v1.4.2 的发布已有两年多的时间，在这期间 CQ 经历了暂停、重构。今年 3 0月份 CQ 重新启动，随后发布了重启后的第一个版本 1.5.0 。此后   CQ 进入了高频的版本迭代，截止到   12 月 20 日，CQ 发布了最新版 2.7.0，也为 23 年划上了一个完美的句号。从 V1.4.2 到 V2.7.0 CQ 进行了哪些技术上的优化？

新增数据字典服务，保护了纳管在 CQ 数据源中所有数据库表的元数据信息。服务实现了对这些元数据的管理、构建和维护。定时同步纳管数据源的 metdata 信息，并边同步边构建索引。

有了数据字典基础数据，数据字典服务对外提供了，包括以下几种能力：

• 节点查询：数据用于 SDT 树展开，更快展开节点下元素。

• 搜索：利用数据字典实现元素全局搜索，返回所有纳管数据库表字段名称匹配的对象，解决以前版本只搜到展开过的对象问题。

• 数据补全：在 SQL 编辑的补全提示上，有了数据字典，在提示响应实时以及信息全面性上也有了不少的体验提升。

补全提示在 SQL 编辑窗口实现对 SQL 的自动补全、hover 提示支持是一件重要的工作。为了提升补全能力产品引入了 LSP（语言服务协议），特点是前后端有实时事件交互，交互内容包含文档内容和光标位置等，后端利用词法分析语法分析对文档进行 SQL 解析，确定光标位置对象类型，并从数据字典中找到符合条件的对象列表，返回前端进行提示。

此外，V2.7.0 还进行了以下更新：

• 审计重构：引入了 OLAP 分析库，增强审计的分析统计能力，按数仓体系进行数据加工和数据分层，通过数据加工整合，增强审计关联分析能力，有了 DW 层整合关联后的主题库数据，上层应用需要新维度的指标分析和明细展示也很方便。

• 粗细粒度兼容的权限管控：增加了粗细粒度兼具的权限管控能力，既可以粗粒度到只需在链接或者 schema 上设置权限等级，也可以细粒度到具体表、视图对象上设置具体操作权限。

• 基于属性访问控制（ABAC）：除了原有的基于角色（RBAC）能力外，增加了基于属性的授权和访问控制模式，即 ARBAC 模型。ABAC 授权模型能实现非常灵活的权限控制，比较适用于用户数量多并且授权比较复杂的场景。举个例子，【所有 2022 年之前入职的 HR 部门招聘岗人员可以下载简历】只要设置权限集合生效的属性条件即可。这也比较适合项目组场景，例如进入某项目组，因为用户有该项目组的属性即拥有该项目组的权限集合，一旦离开因为属性发生改变，权限就自动失效。

• Pipeline 执行框架：把处理逻辑封装在节点内部，Pipeline 按需选择节点和编排节点间的拓扑关系，可方便设置前置、后置节点，若涉及外部对接，也可方便插入一个对接节点，实现快速支撑不同场景的不同流程需求。

从 V1.5.0 社区版开始，我们已经对产品进行了很多优化，特别是权限体系、数据保护、连接管理等模块，从 RBAC 授权模型到 ARBAC 授权模型，更灵活地满足授权场景，引入 Pipeline 执行框架，将整个 SQL 执行过程设计成一个工作流，更便于适应新的工作模式，再比如引入 OLAP 分析库增强审计分析及关联能力，这些改造和优化都使得我们产品的基础功能在逐步趋于稳定。

此外，我们还在不断优化 SQL 智能提示、数据变更、自动授权、数据备份、高危设置等模块。

CQ 后续计划：

1、SQL 智能审核：人员在数据库客户端上编写的 SQL 语句往往是缺乏规范的，不通过审核直接执行容易违反数据标准和性能质量的要求，尽管在执行的过程中会进行鉴权和高危判断，但这也很难精准的覆盖到具体的 SQL 语句。

大量的执行不合规 SQL 可能会造成应用访问性能低下、产生大量的慢 SQL。因此，后续 CQ 计划增加 SQL 智能审核能力，通过内置数据标准规范+自定义 SQL 编写规范，在 SQL 语句执行前进行审核，根据不同的审核结果设置不同的响应机制，如审核结果中存在 error 等级的语句则不允许执行，并将所有审核结果记录审计并分析。

2、应用动态脱敏：应用动态脱敏是指通过对应用无侵入的方式改写应用访问数据库的敏感数据，实现面向不同业务人员和 API 接口的定向数据变形，防止应用系统成为敏感数据的泄密渠道。

3、静态脱敏：通过插件化的数据源适配能力和可扩展的脱敏算法定义能力，提供灵活的策略和脱敏方案配置、高效可并行的脱敏能力，帮助企业快速进行敏感数据脱敏处理，同时保证数据的有效性和可用性。

4、账号分析：为解决库多账号多、权限混乱、多人复用一个账号、人机复用同一账号等场景，通过对数据库系统表及会话信息、应用配置信息进行定期扫描和分析，形成诊断报告和风险视图提供给数据库运维人员和安全人员，建立“定期扫描-搜集分析-优化建议-效果检测”的改进闭环。