6C 检测数据湖

概述

6C 检测数据湖是把 C1～C6 各装置产生的海量异构数据（波形、图像、电气量、结构化指标、文本工单）以原始形态统一汇聚、按层级组织、可在需要时灵活加工的数据存储与计算底座。数据湖与传统"主题—宽表"式数据仓库的差别在于：前者先存后用（schema-on-read），数据按来源原样保留，加工按需触发；后者先建模后入仓（schema-on-write），数据按主题预聚合。6C 场景既有需要"原始波形做溯源"的应用（接触线断线案例），也有需要"宽表做判读"的应用（检测数据分析与超限判定），数据湖按"原始层 → 标准层 → 标签层 → 特征层"的四层架构同时支撑两类需求。本条目梳理 6C 数据湖的分层架构、数据流转与治理要求，与检测数据治理、6C 数据分析平台互补；分层命名与落地形态以各路局/供电段实际数据湖方案为准。

检测原理

数据湖的设计原理是"按层级切分读写路径"：

原始层（Bronze，落地原样）：波形（C1 接触力、燃弧）、图像（C2/C4/C5/C6 部件与弓网图像）、视频、GPS/北斗轨迹、温湿度等环境量、原始日志全部以原始文件形式入库，分区按"线路—装置—日期"组织。原始层是溯源证据的最终落点，禁止任何写入时修改，仅追加；
标准层（Silver，统一格式）：原始数据按统一字段、单位、坐标系解算后写入结构化表。波形解算为统计特征序列（接触力均值/标准差/最大最小/硬点），几何解算为导高/拉出值/坡度时序，图像抽取元数据（采集时间、相机内参、里程标签），原始文件保留指针供下游按需调取；
标签层（Gold，业务语义）：按缺陷样本库与标注体系口径对标准层数据打标签，含部件类型、缺陷类别、严重程度、复核结论，标签本身又分为"机器标注—人工复核—专家裁定"三层置信度。标签层是图像智能识别训练样本的来源；
特征层（Platinum，应用直接消费）：面向应用聚合的特征视图，如"每杆号每期接触力统计量""每锚段磨耗趋势""每部件超限频次"等。特征层直接对接超限判定、趋势预警、检测-维修闭环等应用。

层级之间的数据加工靠"流水线（pipeline）"承载。Bronze → Silver 是纯 ETL（数据抽取—转换—加载），强调口径一致与血缘留痕；Silver → Gold 是按业务标签规则做加工，含人工标注回路；Gold → Platinum 是按应用聚合的视图构建。三层加工共同遵循"幂等 + 可重放 + 版本化"原则：同一输入多次运行结果一致，加工脚本与数据快照版本绑定，必要时可重放到历史状态。

数据湖与传统数据仓库并不互斥。生产级 6C 数据湖通常采用"Lakehouse"形态：原始层用对象存储（保留文件原貌），结构化层与特征层用数据仓库表引擎（提供 SQL 与事务能力），两者通过元数据与血缘统一管理。

系统组成

6C 数据湖子系统的一般组成：

存储层：对象存储承载原始波形/图像/视频文件，结构化表引擎承载标准层、标签层、特征层；冷热分层（热数据 SSD、冷数据对象存储归档）按访问频次配置；
元数据与目录服务：统一数据目录（dataset catalog）记录每张表、每个文件的字段含义、单位、数据字典、生产者、产出时间；用户通过目录检索数据而不必直接感知物理路径；
计算与加工引擎：批处理引擎（按计划跑 Bronze→Silver→Gold 流水线）、流处理引擎（支撑在线实时特征）、交互查询引擎（支撑临时查询与可视化）；
标签与样本管理：对接缺陷样本库的标注工具链，标签版本与样本血缘一致管理，标签可回溯到原始波形/图像；
权限与审计：原始层按数据敏感级别授权（参见检测数据治理中的安全性维度），标签层与特征层按使用部门授权；操作日志全留痕；
对外接口：向 6C 数据分析平台提供数据服务接口，向维修工单系统推送特征数据，向外部数据交换平台提供脱敏视图。

6C 检测数据湖四层架构示意图 — 6C 检测数据湖四层架构与存储、元数据、计算引擎组成示意

检测项目与指标

数据湖运行的核心治理指标：

指标	含义	治理意义	依据
入湖完整率	实际入湖数据量 / 应入湖数据量	衡量采集到入湖的链路完整度	运维管理规定
流水线及时率	按时完成的加工任务占比	衡量 Bronze→Silver→Gold→Platinum 时效	运维管理规定
标签覆盖率	已打标签样本数 / 应打标签样本数	衡量 Gold 层的可用度	样本库管理办法
特征新鲜度	特征最近一次产出距今的时长	衡量 Platinum 层对应用的支撑时效	运维管理规定
存储成本效率	单位数据存储成本与查询性能的比值	衡量湖仓混合架构的经济性	工程方案
血缘完整度	能从特征层回溯到原始层的链路占比	衡量溯源能力	数据管理规定

层级之间的加工及时率可用流水线成功率与延迟刻画。设第 $k$ 层加工任务按时完成率为 $s_{k}$ ，平均时延为 $l_{k}$ ，则湖整体的特征可用率近似为：

$S_{lake}\approx \prod _{k=1}^{3}s_{k}\cdot (1-l_{k}/T)$

其中 $T$ 为允许总时延。任一层延迟过大或成功率下降都会迅速侵蚀整体可用率，因此每层 SLA 都须独立治理。

数据应用

溯源与故障复盘：原始层保留完整波形与图像，接触线断线案例、吊弦脱落打弓案例的复盘直接调取原始波形与图像切片，避免"结论丢失证据"；
多期趋势建模：Silver 层的结构化时序与 Gold 层的标签支撑趋势预警与寿命预测；Lakehouse 架构保证大跨度时序查询性能；
AI 训练供数：标签层与原始层的组合是图像智能识别模型的训练数据来源，Lakehouse 的版本化能力保证训练集可复现；
跨装置融合判读：特征层视图直接对接多源数据融合与超限判定，避免重复计算；
数据资产沉淀：湖内数据规模、覆盖度、可发现性是供电段数据资产的客观度量，沉淀水平直接影响未来 AI 应用的上限。

6C 检测数据湖

概述

检测原理

系统组成

检测项目与指标

数据应用

相关条目与参考资料