什么是数据可观察性?

可观察性不再仅仅适用于软件工程. 随着数据停机时间的增加和数据堆栈的复杂性的增加, 可观察性已经成为数据团队的一个关键问题, 太.

开发人员操作 (亲切地称为DevOps)团队已经成为大多数工程组织不可或缺的组成部分. DevOps团队消除了软件开发人员和IT人员之间的隔阂, 促进软件的无缝和可靠的发布到生产.

随着组织的发展,底层的技术堆栈变得更加复杂(想想: 从一个整体架构到一个微服务架构),对于DevOps团队来说,保持系统的健康状况是非常重要的. 可观察性, 工程学词典中新近增加的新词, 满足这种需求, 指的是监控, 跟踪, 并对事故进行分类,防止停机.

这是整个行业向分布式系统转变的结果, 可观测工程出现于 快速发展的工程学科. 在其核心,可观测性工程被分为 三大支柱:

  • 指标 参考随时间推移测量的数据的数字表示.
  • 日志, 在给定时间戳发生的事件的记录, 还要提供有关特定事件何时发生的有价值的上下文.
  • 痕迹 表示分布式环境中因果相关的事件.

(以获取更详细的描述, 我强烈推荐阅读Cindy Sridharan的里程碑式的文章, 监控和可观测性).

综上所述, 这三个支柱为DevOps团队预测未来行为提供了有价值的见解, ,反过来, 相信他们的系统能够满足sla. 抽象到你的底线, 可靠的软件意味着可靠的产品, 哪些会让用户感到快乐.

即使有一流的可观测性解决方案, 然而, 如果你的数据不可靠,再多花哨的工具或工程术语也不能让客户满意.

数据停机时间的增加

作为Gainsight公司客户成功运营副总裁, 我负责领导一个团队,向推荐一个正规滚球网站的CEO提交一份每周报告,概述客户数据和分析. 一次又一次,推荐一个正规滚球网站提交了一份报告,但几分钟后就会收到关于数据问题的通知. 不管推荐一个正规滚球网站的管道有多强大,也不管推荐一个正规滚球网站检查了多少次SQL:推荐一个正规滚球网站的数据就是不可靠.

不幸的是,这个问题并不是Gainsight所独有的. 在与100多位数据领导者谈论他们最大的痛点后,我了解到这一点 数据停机时间 位列榜首. 数据停机时间—数据不完整的时间, 错误的, 失踪, 否则不准确的数据只会随着数据系统变得越来越复杂而增加, 支持资源和消费者的无尽生态系统.

适用于数据工程师和开发人员, 数据停机时间 means wasted time and resources; for data consumers, 它会削弱你做决定的信心. 和我一样,与我交谈过的领导人也不相信他们的数据,这是一个严重的问题.

介绍:数据可观测性

而不是整合一个整体的方法来解决数据停机问题, 团队经常在特别的基础上处理数据质量和沿袭问题. DevOps以同样的方式将可观察性应用到软件中, 我认为推荐一个正规滚球网站是时候利用同样的勤奋来获取数据了.

数据可观测性, 组织完全理解其系统中数据健康状况的能力, 通过将DevOps可观察性的最佳实践应用于数据管道,消除了数据停机时间. 就像它的DevOps对手一样, 数据可观察性使用自动监控, 报警, 并进行分类以识别和评估数据质量和可发现性问题, 让管道更健康, 更有效率的团队, 和更愉快的客户关系.

简单点说, 我将数据可观察性分为五大支柱:新鲜度, 分布, 体积, 模式, 与血统. 这些组件共同提供了对数据质量和可靠性的有价值的见解.

  • 新鲜: 新鲜旨在了解数据表的最新程度, 以及您的表格更新的节奏. 新鲜 is particularly important when it comes to decision making; after all, 过时的数据基本上就是浪费时间和金钱的同义词.
  • 分布分布:, 换句话说, 数据可能值的函数, 告诉您数据是否在可接受的范围内. 数据分布使您能够根据数据的期望了解表是否值得信任.
  • 体积: 容量指的是数据表的完整性,并提供了关于数据源健康状况的见解. 如果2亿行突然变成了500万行,你应该知道.
  • 模式:数据组织(换句话说,模式)的变化通常表明数据损坏了. 监视谁对这些表进行了更改以及更改的时间是了解数据生态系统健康状况的基础.
  • 血统当数据崩溃时,第一个问题总是“在哪里”?数据沿袭会告诉你哪些上游来源和下游摄食者受到了影响,从而提供了答案, 以及哪些团队在生成数据以及谁在访问数据. 良好的沿袭还收集与治理有关的数据(也称为元数据)的信息, 业务, 以及与特定数据表相关的技术指南, 为所有消费者提供单一的真相来源.

解锁你公司的数据可观察性

多亏了DevOps, 推荐一个正规滚球网站有一个简单的镜头,用它来看待可观察性作为应用数据的重要性. 一旦出现数据停机事件,立即公布, 数据可观察性的五大支柱为真正的端到端可靠性提供了必要的整体框架.

和传统的DevOps可观察性工具一样, 最好的数据可观察性解决方案将不仅仅是监测这些支柱, 但首先要防止坏数据进入它们.

推荐一个正规滚球网站认为一个好的数据可观测性解决方案具有以下特点:

  • It 快速、无缝地连接到现有堆栈 并且不需要修改管道, 编写新代码, 或者使用特定的编程语言. 这允许快速评估和最大化测试覆盖率,而无需进行大量投资.
  • It 在静止状态下监视数据 而且不需要从当前存储的位置提取数据. 这使得解决方案具有高性能、可伸缩性和成本效益. 它还确保您满足最高级别的安全性和遵从性需求.
  • It 需要最低配置 而且几乎没有门槛设定. 它使用ML模型自动学习您的环境和数据. 它使用异常检测技术,让您知道什么时候发生故障. 它通过考虑不仅仅是单个指标来最小化误报, 而是对你的数据和任何特定问题的潜在影响的整体看法. 您不需要花费资源配置和维护嘈杂的规则.
  • It 不需要预先映射 什么需要监控,以什么方式监控. 它帮助您确定关键资源, 键依赖项和键不变量,这样您就可以轻松地获得广泛的可观察性.
  • It 提供丰富的背景 这使快速分类和故障排除成为可能, 与受数据可靠性问题影响的利益相关者进行有效沟通. 它不会停止在“表Y中的字段X今天的值低于Z。.”
  • It 从一开始就防止问题的发生 通过公开关于数据资产的丰富信息,以便能够负责地、主动地进行更改和修改.

此外,当问题出现时,这些工具将在其他人之前通知您的团队. 是的,甚至是你的CEO.

如果你想了解更多,联系 巴尔摩西.