如何防止坏数据在你的完美管道

对于数据团队来说,破碎的数据管道、陈旧的仪表盘和5个a.m. 消防演习是意料之中的事, 特别是当数据工作流从不同的来源摄取越来越多的数据时. 从软件开发中获得灵感,推荐一个正规滚球网站称之为这种现象 数据停机时间——但是推荐一个正规滚球网站如何在一开始就主动地防止坏数据的攻击呢?

在这篇文章中, 我分享了行业中一些最好的数据组织用来恢复对其数据信任的三个关键策略.

最近,一位客户提出了这个问题:“如何防止数据停机?” 

作为一家全球物流公司的数据领导者, 他的团队负责每天向数百名利益相关者提供tb级的数据. 考虑到它们移动的规模和速度, 数据停机时间, 换句话说, 数据完全或部分丢失的一段时间, 错误的, 或者不准确, 这是司空见惯的事情吗. 

一次又一次, 市场营销(或运营、销售或任何其他使用数据的业务功能)的人注意到他们Tableau仪表盘上的指标看起来不太对, 我伸出手来提醒他, 然后他的团队停止了他们正在做的任何解决问题的工作. 在这个过程中,他的利益相关者 失去了信任 在数据中,有价值 时间和资源都被转移了 从实际建造到交火这一事件.

也许你能理解?

数据停机时间的增加

防止停机的想法是许多依赖功能系统来运行业务的行业的标准实践, 从制造中的预防性维护到软件工程中的错误监控(排队等待可怕的404页面……).

然而,, 许多兜售数据驱动证书的公司并没有投资于防止管道破裂或在劣质数据流向下游之前识别它们. 他们不是主动地处理数据停机,而是 无功比如,用坏数据打地鼠,而不是从一开始就专注于预防它.

幸运的是,有希望. 一些最具前瞻性的数据团队已经开发了最佳实践,以防止数据停机,并停止损坏的管道和不准确的仪表盘在其轨道上, 在你的CEO有机会问这个可怕的问题之前:“这里发生了什么??!”

下面,我分享了3个关键步骤,你可以采取,以防止坏数据损坏你的其他 良好的管道:

测试你的数据. 然后再测试你的数据.

对于大多数数据团队来说,测试是抵御坏数据的第一道防线. 礼貌的 阿诺德堡 on Unsplash.

在2021年,数据测试是桌上筹码.

就像软件工程师对他们的代码进行单元测试一样, 数据团队应该通过端到端测试来验证管道的每个阶段的数据. 其核心, 测试可以帮助您度量数据和代码的执行是否如您所设想的那样.

模式测试和自定义固定数据测试都是常用的方法, 并且可以帮助确认您的数据管道在预期的场景中是否正常工作. 这些测试寻找警告信号,如空值和引用完整性, 并且允许您手动设置阈值,并识别可能表明问题的异常值. 当应用程序跨越管道的每一个阶段, 数据测试可以帮助您在问题成为数据灾难之前检测和识别问题.

理解数据沿袭和下游影响

字段和表级沿袭可以帮助数据工程师和分析师了解哪些团队正在使用受上游数据事件影响的数据资产. 图片由巴尔摩西提供.

经常, 数据停机是无意更改的意外结果, 远高于依赖数据资产的终端消费者,而数据团队的成员甚至都不知道. 这是糟糕的数据沿袭的直接结果——我将其称为 “你在用那张桌子?!”问题.

数据沿袭, 简单地说, 您的数据的上游和下游依赖关系的端到端映射, 从摄取到分析. 数据沿袭使数据团队能够理解每个依赖关系, 包括哪些报告和仪表板依赖于哪些数据源, 以及在每个阶段发生了哪些特定的转换和建模.

当数据沿袭整合到平台中时, 特别是在字段和表级别, 任何更改的所有潜在影响都可以预测,并在数据生命周期的每个阶段向用户传达,以抵消任何意外的影响.

而下游沿袭及其相关的业务用例是重要的, 不要忽视了解哪些数据科学家或工程师正在访问仓库和湖泊级别的数据, 太. 在他们不知情的情况下推进变更可能会破坏时间密集型的建模项目或基础设施开发.

优先考虑元数据,并像对待元数据一样对待它

当应用于特定的用例时,元数据可以成为解决数据事件的强大工具. 图片由巴尔摩西提供.

在防止数据停机时,沿袭和元数据是密切相关的. 作为沿袭实践的一部分,标记数据允许您指定如何使用数据以及由谁使用数据, 减少误用或损坏数据的可能性.

直到最近, 然而, 元数据就像那些你发誓有一天会用到的亚马逊空盒子——被囤积起来,很快就会被忘记.

随着公司投资于更专业的数据工具, 越来越多的组织开始意识到元数据可以作为一个无缝的连接点贯穿于日益复杂的技术堆栈中, 确保您的数据在每个解决方案和流程阶段都是可靠的和最新的. 元数据不仅对于理解哪些消费者受到数据停机的影响尤为重要, 同时也告知数据资产是如何连接的,这样数据工程师就可以更协作地快速解决发生的问题.

元数据是根据业务应用程序应用的, 你将对你的数据如何推动公司其他部门的洞察和决策产生强大的理解.

未来的数据停机时间

由元数据支持的端到端沿袭为您提供必要的信息,而不仅仅是故障排除管道, 但也要了解数据在其生命周期的每个阶段的业务应用. 图片由巴尔摩西提供.

那么,当推荐一个正规滚球网站实现一个没有数据停机的世界的梦想时,这对推荐一个正规滚球网站来说意味着什么呢?

就像死亡和税收一样,数据错误是不可避免的. 但当元数据被优先化时, 血统是理解, 两者都映射到测试和可观察性, 对你的业务的负面影响 数据停机的实际成本 -基本上是可以预防的.

我预测数据停机的未来是黑暗的. 这是一件好事. 推荐一个正规滚球网站越能防止数据停机引起头痛和消防演习, 推荐一个正规滚球网站的数据团队越能专注于能够推动结果并推动业务向前发展的项目, 可靠的, 和强大的数据.

有一些数据停机的故事可以分享? 我洗耳恭听.