解密数据可观测性

随着企业吸收的数据越来越多,数据管道也变得越来越复杂, 出错的机会越来越大, 从一个坏掉的仪表盘到一个空值.

11月12日,星期四,12点.m. 美国东部时间/ 9.m. PST,推荐一个正规滚球网站将讨论如何解决这个问题 数据可观察性网络研讨会 数据工程和商业智能主管 Yotpo,一个电子商务营销平台.

在推荐一个正规滚球网站的 谈话,以下是你的数据工程团队可以从中受益的3个迹象 数据可观测性是现代数据栈的最新层.

一个客户最近问我:“我如何知道我的数据是否可信。?”

当我还是Gainsight公司客户成功部门的副总裁时,这个问题经常出现. 我工作过的每一个数据组织都是不同的, 服务水平协议(sla), 安全需求, 和 kpi “准确、高质量的数据”是什么样子的. 在所有这些数据团队之间, 然而, 一个共同的主题出现了:需要一个更好的方法来监测数据的可靠性和消除 数据停机时间.

数据停机是指数据丢失的一段时间, 不准确的, 或其他错误, 它可以是数据表中缺少的一些值,也可以是数据转换过程中的一个错误. 随着公司越来越多地利用越来越多的数据源,建立越来越复杂的数据管道, 数据停机的可能性只会增加.

我记得我对自己说: 如果有一种方法可以让数据团队监控和提醒这些不协调,就像软件工程师可以通过像New Relic和data Dog这样的可观察性解决方案跟踪应用程序宕机一样,这不是很好吗?

五年前, 没有一套足够全面的词汇或方法来满足这种不断变化的需求. 2020年,推荐一个正规滚球网站终于实现了:世界,相遇 数据可观测性.

In 前面的文章, 我已经讨论了为什么数据可观察性是信任数据的基础(换句话说), 数据的可靠性), 但是在引擎盖下面是什么样子的呢?

以下是你的数据团队应该在数据可观察性方面进行投资的3个迹象:

1. 有人在上游更改了一个字段,导致下游丢失或部分数据

端到端数据可靠性平台允许团队探索和理解他们的数据沿路, 自动映射上下游依赖关系, 以及这些资产的健康状况. 图片由巴尔摩西提供.
情况

满足斯蒂芬妮. 她是一名数据科学家. 斯蒂芬妮负责为她公司的需求导向营销活动的成功建立数据模型. 有一天,, 肯, 广告团队的一员, 更改该数据集中的字段, 导致她最近的A/B测试产生了不稳定的结果. 不幸的是, 斯蒂芬妮不知道她的结果为什么不准确, 而不是骄傲地在她公司的下一次数据科学全员大会上展示她的实验结果, 她放弃了这个实验,重新开始.

解决方案

数据可观察性解决了数据管道上下游依赖端到端可见性不足的问题,这样你就可以识别哪里发生了数据火灾,并快速解决它们. 即使管道破裂或A/B测试出错, 您可以确定错误的根本原因,并相应地更新您的实验, 增加对数据的信任并降低计算成本.

2 .你的“Looker”仪表盘24小时内没有更新

数据目录将有关数据资产的所有元数据包含在一块玻璃中, 所以你可以看到你可以看到血统, 模式, 历史变化, 新鲜, 体积, 用户, 查询, 在单个视图中还有更多. 图片由巴尔摩西提供.
情况

在斯蒂芬妮的公司, 市场分析团队使用Looker软件将纽约时代广场新广告牌每天产生的合格销售线索可视化. 4季度计划会议前几分钟他们的CEO, 市场部副总裁在Slack上对斯蒂芬妮说:“数据都错了……发生了什么?!”

她打开Looker,意识到数字, 通常每15分钟更新一次, 24小时没被碰过了!

解决方案

一种很好的数据可观察性方法提供基于ml的新鲜度问题检测,并监视数据的异常情况, 实时提醒您. 一个好的数据可观察性策略可以做到这一切, 并提供单一的, 窗格式视图到您的数据运行状况, 跨各种数据源对元数据进行编目. 此外, 自动检测减少了手工劳动,并为您的项目腾出时间,这将真正为您的公司移动指针.

3 .数据分析师之间的沟通不畅, 数据科学家, 数据工程师负责数据消防演习

数据可观察性使问题易于识别和解决,从而促进了数据团队内部的更大协作, 不是几个小时后. 图片由巴尔摩西提供.
情况

斯蒂芬妮的团队正在构建一个新的数据模型,以更好地了解什么类型的潜在客户对她公司的产品最感兴趣, 按地理区域和行业部门过滤. 这是数据分析师之间的跨团队协作, 数据科学家, 和数据工程师, 结果决定了很多事情.

当Stephanie部署模型时,什么也没有发生. 她又试. 一次又一次. 不过,不行. 不知道她, 芝加哥的一名数据科学家对一个数据集做了一个模式更改,从此永远改变了她所知道的模型. 没有办法知道哪些数据被更新了,故障发生在哪里,更不用说如何修复它了!

解决方案

一种强大的数据可观察性方法将使团队能够协作对数据停机事件进行分类和故障排除, 允许您识别问题的根本原因并快速修复它. 或许最重要的是, 这样的解决方案通过公开有关数据资产的丰富信息,首先防止发生数据停机事件,以便能够负责地、主动地进行更改和修改.

虽然不同公司(以及团队之间)的数据停机时间不同,但数据可观察性可以提供帮助. 也许你甚至在斯蒂芬妮身上看到了自己的影子,也有了自己的优点 坏数据的故事 分享,!

我洗耳恭听.

有兴趣了解更多? 接触 巴尔摩西 以及可以玩滚球的正规app团队的其他成员!