缩放数据信任:汽车贸易如何迁移到一个分散的数据平台与蒙特卡罗

领先的公司正在通过去中心化的数据平台向更大的数据民主转变,但没有正确的治理和适当的可见性, 数据质量可能受到影响,数据中的信任可能受到损害. 这就是 数据可观测性 进来. 

下面是汽车贸易商的数据工程团队如何通过蒙特卡罗实现自动化监控和警报,同时分散责任和提高数据可靠性.

曼彻斯特 汽车贸易商 是英国和爱尔兰最大的数字汽车市场吗. 汽车贸易商, 将数百万买家和数千卖家联系起来需要大量的数据. 

该公司每月的广告浏览量为2.35亿次,跨平台访问量为5000万次, 每分钟数千次交互——汽车贸易商团队可以分析和利用所有数据点来提高效率, 客户体验, 和, 最终, 收入. 从广告优化到报告,再到基于ml的汽车估值,数据也为商业结果提供了动力. 

主要开发人员 爱德华·肯特 以及他的数据工程团队, 收集和处理如此大量的数据绝非易事. 最近,数据团队专注于两个关键任务. 

“推荐一个正规滚球网站希望让汽车贸易商及其客户能够根据数据做出决策,”爱德华说, ,并通过一个自助平台使数据访问民主化.” 

与这些雄心勃勃的目标同时出现的是现代化, 基于云的数据架构——这意味着Edward和他的团队必须同时让更多团队更容易访问数据, 同时建立对数据质量的信任. 

挑战在于:建立信任和授权自助式数据 

“推荐一个正规滚球网站正在将可信的本地系统迁移到云端, 这些旧系统的用户需要相信,新的基于云的技术与他们过去使用的旧系统一样可靠,”爱德华说. 

如今,爱德华和他的团队拥有了一个强大的数据栈. 他们通过Kafka和Fivetran获取数据, 在Apache气流中处理编排和调度, 将数据存储在BigQuery和Amazon S3中, 使用dbt和Apache Spark进行建模, 数据科学笔记的数据块, 并通过Looker将表面数据传递给内部消费者. 

有很多人关注这些数据. 超过500名活跃用户(超过汽车贸易商员工总数的50%)!)每月登录并使用Looker的数据, 包括复杂的, 高调的数据产品,比如财务报告. 当然, 随着海量数据和多层技术堆栈的出现,数据管道有很多破裂的机会——而这些事件几乎总是最先被这500个数据消费者之一注意到.

爱德华和他的团队需要解决 数据停机时间 (这段时间他们的数据是不完整的, 错误的, 或者不准确)来提高信任, 但同时, 是否成为公司其他部门的瓶颈. 他们集中的数据工程师团队处理所有与数据操作有关的事情, 从建立新管道和报告的请求到调查数据质量问题的紧急电话. 这种方法无法扩展,导致请求积压, 导致爱德华和他的团队制定了一个计划来构建一个抽象的, 自助服务平台,供企业消费者自行使用. 

“而不是由一个数据团队包揽一切, 推荐一个正规滚球网站希望给予团队平台级别的能力和自主权,以构建他们自己的数据产品,”爱德华说. “理想情况下,推荐一个正规滚球网站希望团队能够管理他们数据管道生命周期中的一切. 从摄取到建模再到警报等等. 因此,正是在这种背景下,推荐一个正规滚球网站希望将数据可观察性作为平台的功能来提供.”

输入可以玩滚球的正规app. 

解决方案:采用蒙特卡罗方法实现数据的可观测性

推荐一个正规滚球网站与汽车贸易商合作,将蒙特卡罗数据可观测性平台集成到他们现有的数据平台中. 具体地说, 他们想要增加一层监控, 警报, 并沿袭了BigQuery和look -它们的数据堆栈中最可见的层. 

“对推荐一个正规滚球网站来说,提供正确的数据比以往任何时候都更重要, 准确的, 和最新的,”爱德华说. “这就是数据可观测性概念的由来.” 

汽车贸易商使用蒙特卡罗进行容量和新鲜度检查, 以及模式更改的警告, 在BigQuery的所有表上. Edward的团队还在许多关键表中选择了一套ml驱动的统计检查, 使其易于获得列级置信度,而无需定义阈值的繁琐过程. 蒙特卡罗还帮助他们理解了数据中的所有依赖关系. “推荐一个正规滚球网站发现很难理解BigQuery中的哪些表出现在Looker中的哪些报告中, ,反之亦然,”爱德华说. “跨越这两个系统的血统追踪对推荐一个正规滚球网站来说真的很强大.”

结果:事件跟踪建立信任

在可以玩滚球的正规app, 数据工程团队会发现数据质量问题,当内部用户向他们发送关于Looker报告的Slack信息时,这些信息似乎不太正确. 

The data team would then have to a) investigate if there was a genuine issue; b) try to determine 问题的根源; c) figure out which tables or dashboards were downstream 和 which consumers would be affected; 和 d) finally, 跟踪并通知相关涉众已发现问题, 估计解决问题的时间, 并在问题解决后再次跟进. Edward将这个过程描述为“反应性强、速度慢、不可扩展”.”

现在, 与蒙特卡罗, 当检测到可能的事件时,Edward的团队会收到Slack通知. 

由于自动化,他们可以更快地调查问题, 端到端血统, 这有助于数据工程师了解上游和下游可能的影响,直到现场水平, 也提供了对新鲜度的可见性, 体积, 分布的变化可以帮助他们查看更新模式,并注意到可疑的变化.

使用蒙特卡罗,通信也变得更加流畅. Edward的团队不需要再次追踪利益相关者, 并且可以通过可以玩滚球的正规app将问题和解决方案的通知发送到相关团队的Slack渠道. 

具备自动监控和警报功能, 血统加速了事件的时间和分辨率, 数据工程团队通过在下游消费者发现问题之前主动解决数据问题,与利益相关者建立了更大的信任. 

结果:可扩展的监视和对“未知的未知”的可见性

爱德华还称赞蒙特卡罗的机器学习监控系统. 

“为了获得价值,推荐一个正规滚球网站不需要知道推荐一个正规滚球网站需要监控什么,”爱德华说. “蒙特卡罗可以开始寻找模式,并将提醒推荐一个正规滚球网站任何异常和偏离这些模式.”

例如, 蒙特卡罗意外地发现了150个缺失点,在一个表中,000行是很少删除的. 一个数据工程师能够深入到蒙特卡罗,并注意到有一个删除表,通常只看到增加. 使用血统追踪, 他们可以查看数据的上游是什么, 看到它从外部来源通过ETL进入, 然后去和数据所有者核实一下,看看这是否合法和有意为之, 或者是出了什么问题. 

“在这种情况下,不需要采取任何行动。”爱德华说. “但知道推荐一个正规滚球网站的数据正在发生这样的事情,真的很有价值, 因为这让推荐一个正规滚球网站有信心,如果真的有问题, 推荐一个正规滚球网站也会用同样的方法发现的.”

数据工程团队使用自定义SQL规则和dbt进行手工测试, 但由于他们的数据规模, 它们依靠蒙特卡罗作为监测的基础,这样它们就可以捕捉未知的未知’. 

“无论是自定义SQL规则还是dbt测试,你都必须预先配置,”Edward说. “你必须提前知道你要监测的是什么, 然后完成整个设置过程. 对于推荐一个正规滚球网站来说,推荐一个正规滚球网站每天都要定义数百个数据模型,构建数百个表. 推荐一个正规滚球网站想要的是一种能够有效地让它运行起来的东西,而不需要推荐一个正规滚球网站投入太多精力. 蒙特卡罗提供的模式检查,容量检查,新鲜度检查都是在这方面进行的.”

结果:增强了汽车贸易商的自助数据平台

蒙特卡罗还支持汽车贸易商向去中心化的过渡, 自助式数据程序-不影响数据质量. 

在这个新模型下,分散的警报被路由到适当团队的警报通道. Edward和他的团队要求在他们的dbt中将数据所有权和警报定义为元数据和其他属性 .yaml文件, 因此,拥有特定数据集的产品团队将自动收到蒙特卡罗警报到他们自己的渠道. 

分散的数据所有权意味着分散的数据可观察性责任,”爱德华说. “蒙特卡罗帮助推荐一个正规滚球网站提供了这个平台的能力.”

数据可观察性对汽车贸易商的影响

汽车贸易商试图在开放访问的同时建立对数据的信任, 数据的可观察性是确保数据保持准确和可靠的关键. 

“推荐一个正规滚球网站比以往任何时候都更能了解推荐一个正规滚球网站的数据发生了什么,”爱德华说. “以前, 很多这样的问题本来会被数据消费者发现并报告的,而现在可以玩滚球的正规app已经对这些问题进行了标记. 从跟踪的角度来看, 随着推荐一个正规滚球网站向去中心化数据平台迈进,这种可见性对推荐一个正规滚球网站来说非常重要.”

有兴趣了解数据可观察性如何提高团队的可见性, 响应时间, 和效率? 联系威尔·罗宾斯和其他人 蒙特卡罗团队