第一章 总则¶
第一条 制定依据 本章程依据《量潮科技基本章程》制定,旨在规范量潮数据业务的数据工程过程,确保数据处理可定义、可追溯、可验收。
第二条 目的 为建立数据工程活动的统一规范,明确数据处理的类别边界、技术实现路径和数据交付标准,特制定本章程。
第三条 适用范围 本章程适用于量潮数据业务中所有涉及数据采集、清洗、精炼、标注的技术活动。
第二章 数据处理类别¶
第四条 数据生命周期 数据处理活动应遵循以下生命周期:
(一)数据采集——从外部获取原始数据; (二)数据清洗——对原始数据进行标准化和错误修正; (三)数据精炼——基于清洗后数据生成衍生结果; (四)数据标注——为 AI 训练目的进行人工标注。
第五条 数据采集 数据采集是指项目团队根据业务需求,主动从外部获取原始数据的过程:
(一)数据来源分「我方采集」和「客户提供」两类,立项时必须确认来源类型; (二)我方采集需设计采集方案、使用合规工具、处理反爬机制、确保数据完整性; (三)客户提供的数据不进入采集环节,直接进入来源状态评估。
第六条 数据清洗 数据清洗是对原始数据进行保留、整理与结构化处理的过程:
(一)包括删除无关或重复内容、统一数据格式、填充缺失值、修正明显错误值; (二)客户提供数据时,必须评估为脏数据或干净数据,评估结果作为设计报告和报价单的核心依据; (三)数据清洗仅进行筛选和标准化,不引入新的语义信息。
第七条 数据精炼 数据精炼是基于清洗后干净数据,通过分析或算法生成具有业务价值的衍生结果:
(一)包括情感分析、趋势判断、分类归纳、可视化生成等; (二)精炼的输入是清洗后数据,输出是衍生结果而非原始数据本身。
第八条 数据标注 数据标注是以训练 AI 模型为目的,由人工对原始数据进行额外语义标注的过程:
(一)必须同时满足「人工标注」和「用于 AI 训练」两个条件; (二)标注规范需在标注开始前经客户确认; (三)不服务于 AI 训练的标记行为(如报表分类、内部归档)不属于数据标注。
第三章 数据蓝图¶
第九条 定位 数据蓝图是数据处理程序的技术实现方案,同时作为与客户签署和核对的数据契约。主要包括:
(一)数据模型等数据契约; (二)数据工作流; (三)数据交付物说明。
第十条 工作流 数据蓝图应遵循以下流程:
(一)撰写 Markdown 格式的方案描述; (二)转换为 CUE 格式的结构化定义并存储; (三)输出 HTML 格式供业务验收。
第十一条 验收标准 数据蓝图的技术验收以 CUE 为准,业务验收以 HTML 为准。
第四章 附则¶
第十二条 章程效力 本章程经公司治理机构审议通过,自发布之日起生效。
第十三条 解释权 本章程之解释,应遵循可追溯优先之基本原则。各项条文不得被解释为阻碍合理的数据处理效率优化。