How 农夫的狗 Builds Data Reliability with 蒙特卡罗

所有行业的公司都在努力成为数据驱动的:基于数据做出决策,并建立一种数据信任和透明的文化. But data downtime—periods of time where data is missing, broken or otherwise erroneous—undermines those efforts and can cost companies 每年超过1500万美元

学习如何 农夫的狗, 一家新鲜的狗粮公司, uses data to make better decisions and 蒙特卡罗 to ensure trust in their data.

一开始,受数据驱动似乎与宠物食品和早恋的世界格格不入, 但总部位于纽约的初创公司 农夫的狗 展示是如何有意的, intelligent use of data can enable the delivery of not only fresh, 狗的健康食品, 但也是令人难忘的, 个性化的客户体验.

The company began with its two founders making dog food out of their kitchens, 但随着公司的发展, they began to incorporate data into their DNA. 每一步, 团队正在研究, 分析, and optimizing the food they make and the customer experience they provide. 农夫的狗’s mission is to help more dogs enjoy longer, healthier lives by replacing conventional highly-processed pet “food” with fresh, human-grade选项. 

里克Saporta, 数据战略和洞察主管, said: “We use data in every corner of our business. 推荐一个正规滚球网站团队的任务是确保在农夫的狗做出的每一个决定都是基于最佳的见解和最小的摩擦.”

所面临的挑战: Fast growth into a complex ecosystem leads to unpredictable data issues

2019年,农民的狗数据战略 & Insights团队非常精简. “在这个精简的团队里, we built a whole lot of business intelligence, 至关重要的报告, 并获得了许多有价值的见解,”瑞克说. 他们努力引入新的数据来源, 适应新环境, 并使数据科学成果产品化. 随着他们的成长,Rick的团队开始在每个sprint中添加一个新的数据源——有时一次添加几个. 

同时, the Farmer’s Dog tech stack was growing more complex, 该公司的主要生态系统和网站包含AWS的多云系统, 多个Postgres数据库, Google Cloud Platform for the Data Strategy & 洞察团队、BigQuery、ETL工具、Looker,以及Segment和Kustomer等数据源. 也, “农民的狗”的数据工程团队位于几个不同的工程团队的下游,负责监督网站, 生产数据库, api, 和操作.

作为团队的 数据平台 evolved and expanded at a faster rate, data challenges increased in tandem, too. 

“如果您拥有数据管道,您就非常熟悉这个问题,”Rick说.  “And it’s not a problem most people look forward to tackling.”

“当每天使用的数据中断时, you know instantly because someone always has eyes on it,”瑞克说. “但你还有其他数据——在使用时非常重要的那种数据, 但这不是每天都能看到的. 因为它的性质, when it has the potential to silently break, unnoticed until right before the most critical of meetings.”

这些问题将拉动 工程数据 团队从他们计划的工作中脱离出来,进入一种响应式模式,寻找停机的来源, 故障诊断的问题, 实现一个解决方案. “当数据崩溃时,推荐一个正规滚球网站必须停止创造新事物,并解决这个问题,”里克说. “数据管道一直在破裂. 不了解各种管道的运行状况状态最终会将团队的注意力从他们的主动性上转移开, planned work and into a reactive cycle of chasing bugs and fixing outages.” 

The Solution: 数据可观测性 with 蒙特卡罗

Rick and his team were working on mapping out all the ways their data could break, 这样数据行动小组就可以在管道周围设置警报和监控——当一个老朋友申请在一家名为可以玩滚球的正规app的小型初创公司工作时,他向里克寻求帮助,看他能否提供参考. He agreed, and ended up chatting with our co-founder and CEO Barr Moses. 

“Our original call was a business reference call. Being curious, I was asking Barr what exactly 蒙特卡罗’s offering was. 我毫不夸张地说,在我与Barr通话之前的会议是一个2小时的计划会议,旨在解决可以玩滚球的正规app所解决的确切问题. 在那次规划会议上,推荐一个正规滚球网站确定将需要3 - 6个月的时间来落实推荐一个正规滚球网站的“优先级0和优先级1”监测, and had chunked it down to our first two sprints-worth, 能帮推荐一个正规滚球网站找到有用的东西吗, but still very far from what we really needed.” 

She told him about the 蒙特卡罗 platform, 它解决了Rick和他的团队通过处理破碎的数据和管道来解决的问题. 蒙特卡罗 provided automated monitoring and 报警, 以及战场级别的血统, 提供端到端 数据可观测性.

“I’m living and breathing this problem everyday, 现在我正和这家新公司通电话,我直到一周前才听说过这家公司. Truthfully, it seemed too serendipitous and too good to be true. But if the promise was real, it felt like it would be a game changer for our team. 那时候,推荐一个正规滚球网站的很多时间都被从推荐一个正规滚球网站真正想要建立的东西上抽走了. 所以我求巴尔让推荐一个正规滚球网站试试可以玩滚球的正规app. 在里面,我笑出了讽刺的声音——在这里,我在乞求一个卖主把他们的产品卖给推荐一个正规滚球网站. 那时她说不, because the platform wasn’t really ready for customers yet, 但我想我用小狗赢得了她的芳心.” 

农夫的狗 did join 蒙特卡罗 as a customer, Rick仍然惊叹于他的团队在数据可观察性方面是如何迅速建立和运行的——“这只是两次会议, 一小时一个, 一个半小时,然后他们就开始运转了.

在短短几天内,Rick和他的团队开始收到关于数据问题的通知. 

“I wasn’t even expecting notifications yet,”瑞克说. “我认为 there would be another phase of work where we would have to set them up. 我认为, “好吧, 推荐一个正规滚球网站把它配置好了, 下周我会找些空闲时间我会开始设置,这样推荐一个正规滚球网站就能得到这些通知.’然后,我的收件箱里就出现了一封. 从那时起, 推荐一个正规滚球网站收到了各种各样的异常情况的通知我都没想过要去检查. 我一直在回想推荐一个正规滚球网站最初的“6个月计划”,后来推荐一个正规滚球网站从蒙特卡罗得到的那么多警告甚至都不在推荐一个正规滚球网站最初的计划中.”

Outcome: ability to detect 未知的未知 in their data

UTM参数只是蒙特卡罗如何帮助农民的狗检测数据问题的一个例子. Since several different engineering groups sit upstream from the Data Strategy & 洞察小组认为,一个小组所做的更改可能会对下游数据健康产生不可预见的后果. 

“很多ETL管道都是这样的, 在他们的心, a communication between two different teams, 通常是在不同的公司,”瑞克说. “When one team makes a change, it affects the other. 在最好的情况下, you might have strong communication between the different teams, 但是所有的管道都会在某一时刻破裂, and it’s hard to anticipate all the different ways that data can break.”

他这样描述"未知的未知的数据问题 安娜卡列尼娜 原则 in data form: “All good data is the same, but each bad data is bad in its own way. Our goal is to keep our data pipelines as healthy as the dogs we feed.”

通过监视数据停机, 报警 relevant teams when anomalies are detected, and providing lineage into the upstream and downstream dependencies, 蒙特卡罗帮助Rick和他的团队成为第一个知道什么时候出现故障的人——以及如何快速修复它. 

“蒙特卡罗 has been exceptional at catching upstream errors,”瑞克说. 能够告诉你哪里出了问题,并如此精确地引导你的注意力! 不仅指向特定的表,而且指向快速找到错误根源的沿袭. 这简直太不可思议了.”

结果:自助式数据故障排除

One of the unexpected benefits of 蒙特卡罗, 根据里克, is the communication it enables among other teams. 

农夫的狗 has 蒙特卡罗 integrated within the company Slack, 他注意到DataOps之外的工程师和产品经理使用该渠道来监控他们的上游工作.

推荐一个正规滚球网站的总体理念是让人们尽可能多地获得数据和信息,”瑞克说. “So if there’s some notion that this monitoring tool is helpful for your work, 在这里你去, 让你去看看. It’s in an open channel that anyone can just hop into and see the notifications, or login to the 蒙特卡罗 UI if they want to go deeper.” 

推荐一个正规滚球网站设置了单点登录访问, 授权任何拥有公司电子邮件的人访问平台,并监控流经他们工作的数据.

结果:建立数据信任

瑞克一遍又一遍地重复着这句格言:“农夫的狗不是一家科技公司——它是一家宠物保健公司,利用科技创造并提供一种全新的宠物食品。. 但对数据可观察性的投资和对数据工具的民主化访问,帮助农夫的狗实现了许多科技公司一直在努力实现的目标:建立对数据的信任.

与监控, 报警, 传承到位, Rick和他的团队可以主动地与组织中可能受到影响的同事沟通数据停机时间. “我可以让我的主要利益相关者知道‘在推荐一个正规滚球网站解决这个问题之前,这些报告是不可用的’。,”瑞克说. “但我发现,推荐一个正规滚球网站甚至不必经常走这条路,因为推荐一个正规滚球网站能够如此迅速地解决问题, 通常是在它们变成更大的中断之前发现它们的微小的快速修复方法.” 

最终,这 increased transparency and focus on data quality helps 农夫的狗 accomplish their larger mission. “推荐一个正规滚球网站花了很多时间来保持数据的健康,但这些数据为推荐一个正规滚球网站的分析和见解提供了依据. And the insights inform the business and the feedings of the dogs—and really, 这都是为了让狗狗保持健康.”


想知道数据可观察性如何帮助您的组织更快地发现数据问题, 解决问题的速度, 建立对数据的信任? 接触 将知更鸟 剩下的 蒙特卡罗团队!