数据团队的事故预防:介绍数据可观察性的5个支柱

随着公司越来越依赖富人, 为决策提供信息的非结构化数据, 这项任务的关键是这些数据的准确性和可靠性. 不幸的是,现实是 这些数据可能会丢失、被不恰当地添加、被错误地更改或以其他方式“停止”.” 通过应用类似的DevOps可观察性原则(想想:跟踪、日志和度量), 通过数据可观察性的五个关键支柱,数据团队可以实现对其数据的健康和可靠性的类似级别的可见性. 这是如何.

坏数据不会放过任何人, 尤其是那些直接与工作流打交道的数据工程师和分析师, 管道, 仪表盘负责聚合, 转换, 和可视化. 行业领袖称这个问题为"数据停机时间,它指的是数据丢失、错误或不准确的一段时间.

图片的文章
图片由巴尔摩西提供

防止数据停机, 数据团队需要了解他们数据的健康状况, 哪个说的容易做起来难. 当时我在Gainsight担任运营副总裁, 如果有一天我的股东没有问我以下问题:

  • 数据是最新的吗?
  • 数据是否完整?
  • 字段是否在预期范围内?
  • null率比应该的值高还是低?
  • 模式改变了吗?

没有答案会导致困惑, 挫折, 更不用说当一位高管或客户问我“我的数据怎么了”时的尴尬了?”

也许你能理解?

在过去的几年里,我和200多个数据团队谈过, 对这些问题的答案的渴望一次又一次地出现. 跨越公司和行业, 不可靠的结果, 准确的数据通常都是一样的:(1)冗长乏味, 耗时数据消防演练(5a.m. 唤醒电话,任何人?(二)收入损失的调剂 每年数百万美元 (3)侵蚀客户信任. 数据可靠性对任何业务的成功都至关重要, 但这并不是一个整体, 采用动态方法实现数据准确.

幸运的是,有一个更好的方法: 数据可观测性.

数据可观察性是指组织完全理解其系统中数据的健康状况的能力, 消除的时期 数据停机时间 通过应用的最佳实践 DevOps可观测性 数据管道. 就像它的DevOps对手一样, 数据可观察性使用自动监控, 报警, 并进行分类以识别和评估数据质量和可发现性问题, 让管道更健康, 更有效率的团队, 和更愉快的客户关系.

类似于 DevOps可观察性的三大支柱,我发现数据可观察性可以分为 五个关键支柱 表示数据的运行状况,包括新鲜度、分布、容量、模式和血统.

新鲜

图片的文章
在此数据停机事件中, 推荐一个正规滚球网站有一个表的视图,它周期性地更新,然后有一段时间没有更新.

数据管道可能因为上百万种不同的原因而中断, 但最主要的原因之一是新鲜度问题. 新鲜度的概念是“我的数据是最新的”? 它的近代性是什么? 当数据没有更新时,是否有时间间隔,我需要知道这一点吗?还有许多其他问题.

分布

图片的文章
在这种情况下,当空值的百分比达到上述值时,就会发生分布错误 .60 %.

第二个支柱集中在 分布,这与数据资产的字段级健康状况有关. 空值是帮助推荐一个正规滚球网站理解字段级分布的一个指标. 例如, 对于特定的字段, 如果您通常期望一个特定百分比的零利率, 然后它突然以一种非常显著的方式上升, 你手上可能有分销问题. 除了空值之外, 分布变化的其他度量包括数据资产中期望值的异常表示.

体积

图片的文章
在这个事件中, 推荐一个正规滚球网站看到11月13日的交易量明显下降, 和11月15日, 表示这个特定数据集中的异常.

体积字面上是指文件或数据库中的数据量, 是度量数据摄入是否达到预期阈值的最关键的度量之一. 容量还指数据表的完整性,并提供关于数据源健康状况的见解. 如果2亿行突然变成了500万行,你应该知道.

模式

图片的文章
在这个事件中, 推荐一个正规滚球网站看到一个特定的字段发生了变化, 导致下游报告出现错误.

第四个支柱是 模式, 换句话说, 数据库管理系统所支持的一种用形式化语言描述的结构. 推荐一个正规滚球网站经常发现,模式更改是数据停机事件的罪魁祸首. 字段的添加或删除、更改等. 表被删除或没有正确加载,等等. 因此,审计或对模式进行强有力的审计是将数据健康状况视为数据可观察性框架的一部分的好方法.

血统

图片的文章
在这个事件中, 表级沿袭被描述, 但血统甚至可以显示在领域或工作级别.

最后,也许是最整体的支柱,是血统. 天堂帮助推荐一个正规滚球网站把前面的四个支柱放在一起,这样推荐一个正规滚球网站就可以描绘出你的数据生态系统的样子. 事实上,当数据崩溃时,第一个问题总是“在哪里”?数据沿袭会告诉你哪些上游来源和下游摄食者受到了影响,从而提供了答案, 以及哪些团队在生成数据以及谁在访问数据. 良好的沿袭还收集有关数据的信息(称为 元数据),这与治理有关, 业务, 以及与特定数据表相关的技术指南, 为所有消费者提供单一的真相来源.

天堂帮助推荐一个正规滚球网站讲述一个关于你的数据健康状况的故事, 例如, “上游有一个模式变化,导致下游的一个表有一个新鲜的问题,导致下游的另一个表有一个分配问题,导致一个不可靠的报告,市场团队正在使用它来对他们的产品做出数据驱动的决策.”

数据可观测性的未来

感谢推荐一个正规滚球网站在DevOps的朋友, 推荐一个正规滚球网站有一个简单的镜头来看待可观察性在应用于数据时的重要性. 一旦出现数据停机事件,立即公布, 数据可观察性的五大支柱为真正的端到端可靠性提供了必要的整体框架,一些最好的数据团队已经将其作为数据栈的独立层应用.

数据可观察性层从一端到另一端“观察”数据资产, 当问题出现时,向数据工程师和分析师发出警报,以便在问题影响业务之前解决它们.

在以后的文章中, 推荐一个正规滚球网站将讨论数据可观察性到底是什么样子, 但在那之前:希望您不会出现数据停机!

有兴趣学习更多关于数据可观察性的知识? 接触 巴尔摩西 和 蒙特的车罗的团队.