业务线 3 术语 · AI 数据治理与大数据
数据中台 / 数智平台:位于业务系统与分析应用之间的数据能力层,负责把分散数据汇聚、标准化、建模并对外提供统一数据服务。WALI 数智平台即此类平台。
数据治理:围绕数据标准、质量、安全、元数据与生命周期建立规则并持续执行的过程。其目标不是清洗一次,而是让规范成为常态。
ODS / DWD / DWS / ADS 分层:数据仓库的分层建模约定。ODS 贴源层(原始数据)、DWD 明细层(清洗后的明细事实)、DWS 汇总层(轻度聚合)、ADS 应用层(面向具体报表与服务)。分层使口径可追溯、复用性更高。
数据血缘(Data Lineage):记录数据从来源到产物的完整流转链路,用于评估字段改动的影响范围、定位质量问题源头。
元数据 / 数据地图:元数据是"描述数据的数据"(表结构、含义、责任人等);数据地图是基于元数据构建的资产检索视图,解决"有哪些数据、在哪、谁负责"。
数据资产目录:对企业数据资产进行登记、分类与检索的目录化清单,是数据能被复用的前提。
数据标准 / 主数据:数据标准统一字段定义与编码规则;主数据是跨系统共享的核心实体数据(如物资、设备、客户)。两者是"一物一码"与全流程追溯的基础。
CDC(变更数据捕获):Change Data Capture,通过读取数据库日志等方式捕获数据的增删改,实现准实时同步且对源库压力小。
全量 / 增量同步:全量指一次同步整表数据;增量指仅同步发生变化的部分。平台支持双模式自动调度。
数据脱敏:对敏感字段(如身份证、手机号)按规则变形后再对外提供,兼顾可用性与合规。平台支持动态脱敏。
数据质量规则:对数据自动校验的断言。某省级公共资源交易平台项目中建立了 2000+ 条规则,按准确性、覆盖性、及时性、全面性分类。
数据服务(Data API):把治理后的数据以标准化接口对外提供。平台提供 RESTful API 与 GraphQL,支持配置化零代码开发、限流与访问监控;同时提供 JDBC/ODBC 驱动兼容传统 SQL 工具。
虚拟表:在异构数据源之上建立的统一逻辑视图,屏蔽底层差异,使上层查询不必关心数据实际存放位置与类型。
湖仓一体(Lakehouse):融合数据湖的灵活性与数据仓库的结构化管理能力的架构形态。
存算分离:将存储与计算资源解耦、各自独立扩展的架构,提升弹性与资源利用率。
非结构化数据:图像、PDF、音视频等无固定表结构的数据。工业质检(X 胶片图像判定)与报告 PDF 解析是其典型处理对象。
SQL 大模型:基于开源基础大模型经有监督微调、结合领域知识构建的垂类模型,用于表查找、SQL 生成、纠错、解释与注释及对话式交互。
等保三级:中国网络安全等级保护第三级(监督保护级),对系统安全防护有明确要求,是政企项目常见准入门槛。平台支持完全本地化部署、数据不出本地。
两级租户模型:先按工作区完全隔离、工作区内各项目共享数据源池的租户设计,兼顾多部门隔离与资源复用。
DAG(有向无环图)编排:以图形化方式定义数据任务的依赖关系并按序调度,是数据开发平台的常见工作流形态。