Part 1 基本框架
Chapter 1:定义数据交付物。同时暗示以交付为中心的思想。
https://quanttide.github.io/quanttide-handbook-of-data-engineering/delivering/deliveries/README.html
(交付流程合并到工作流程的“交付”部分)
Chapter 2:定义数据生命周期。
https://quanttide.github.io/quanttide-handbook-of-data-engineering/principles/lifecycles.html
Chapter 3: 定义工作流程,部分参考“DataOps”。
https://quanttide.github.io/quanttide-handbook-of-data-engineering/principles/procedures.html
(工作流程的底稿)
https://quanttide.github.io/quanttide-handbook-of-data-engineering/dataops/README.html
(DataOps 定义为其中的关键思想)
https://quanttide.github.io/quanttide-handbook-of-data-engineering/delivering/README.html
(交付定义为其中一个工作流程)
Part 2 数据生命周期
Chapter 数据采集:API、网页爬虫、问卷,等等。
Chapter 数据预处理:清洗、精炼、标注等。
Part 3 数据系统治理
(预留用来介绍如何使用各种数据基础设施治理我们的整个系统)