农民的狗如何用蒙特卡罗建立数据可靠性

所有行业的公司都在努力成为数据驱动的:基于数据做出决策,并建立一种数据信任和透明的文化. 但是数据停机时间,即数据丢失的时间, 失败或其他错误会破坏这些努力,并使公司蒙受损失 每年超过1500万美元

学习如何 农夫的狗, 一家新鲜的狗粮公司, 利用数据来做出更好的决策,而可以玩滚球的正规app则确保了对数据的信任.

一开始,受数据驱动似乎与宠物食品和早恋的世界格格不入, 但总部位于纽约的初创公司 农夫的狗 展示是如何有意的, 智能使用数据不仅可以使新鲜的交付, 狗的健康食品, 但也是令人难忘的, 个性化的客户体验.

这家公司最初由两位创始人在自家厨房里制作狗粮, 但随着公司的发展, 他们开始将数据整合到他们的DNA中. 每一步, 团队正在研究, 分析, 优化他们做的食物和他们提供的顾客体验. 农民的狗的使命是帮助更多的狗享受更长时间, 用新鲜食品取代传统的深度加工宠物“食品”,让生活更健康, human-grade选项. 

里克Saporta, 数据战略和洞察主管, 他表示:“推荐一个正规滚球网站在业务的每个角落都使用数据. 推荐一个正规滚球网站团队的任务是确保在农夫的狗做出的每一个决定都是基于最佳的见解和最小的摩擦.”

所面临的挑战: 快速成长为一个复杂的生态系统会导致不可预测的数据问题

2019年,农民的狗数据战略 & Insights团队非常精简. “在这个精简的团队里, 推荐一个正规滚球网站建立了大量的商业智能, 至关重要的报告, 并获得了许多有价值的见解,”瑞克说. 他们努力引入新的数据来源, 适应新环境, 并使数据科学成果产品化. 随着他们的成长,Rick的团队开始在每个sprint中添加一个新的数据源——有时一次添加几个. 

同时, Farmer’s Dog的技术堆栈变得越来越复杂, 该公司的主要生态系统和网站包含AWS的多云系统, 多个Postgres数据库, 谷歌数据策略云平台 & 洞察团队、BigQuery、ETL工具、Looker,以及Segment和Kustomer等数据源. 也, “农民的狗”的数据工程团队位于几个不同的工程团队的下游,负责监督网站, 生产数据库, api, 和操作.

作为团队的 数据平台 随着游戏的快速发展和扩展,数据挑战也随之增加. 

“如果您拥有数据管道,您就非常熟悉这个问题,”Rick说.  大多数人都不希望解决这个问题.”

“当每天使用的数据中断时, 你马上就能知道,因为总有人在盯着它,”瑞克说. “但你还有其他数据——在使用时非常重要的那种数据, 但这不是每天都能看到的. 因为它的性质, 当它有可能悄无声息地破裂, 直到最关键的会议前才被注意到.”

这些问题将拉动 工程数据 团队从他们计划的工作中脱离出来,进入一种响应式模式,寻找停机的来源, 故障诊断的问题, 实现一个解决方案. “当数据崩溃时,推荐一个正规滚球网站必须停止创造新事物,并解决这个问题,”里克说. “数据管道一直在破裂. 不了解各种管道的运行状况状态最终会将团队的注意力从他们的主动性上转移开, 有计划的工作,并进入一个追踪错误和修复中断的反应性循环.” 

解决方案:用蒙特卡罗方法实现数据的可观测性

瑞克和他的团队正在研究所有可能破坏数据的方法, 这样数据行动小组就可以在管道周围设置警报和监控——当一个老朋友申请在一家名为可以玩滚球的正规app的小型初创公司工作时,他向里克寻求帮助,看他能否提供参考. 他同意了,并与推荐一个正规滚球网站的联合创始人兼首席执行官巴尔•摩西(Barr Moses)聊了起来. 

“推荐一个正规滚球网站最初的电话是一个商业参考电话. 出于好奇,我问巴尔可以玩滚球的正规app提供的到底是什么. 我毫不夸张地说,在我与Barr通话之前的会议是一个2小时的计划会议,旨在解决可以玩滚球的正规app所解决的确切问题. 在那次规划会议上,推荐一个正规滚球网站确定将需要3 - 6个月的时间来落实推荐一个正规滚球网站的“优先级0和优先级1”监测, 把它分成了前两个冲刺阶段, 能帮推荐一个正规滚球网站找到有用的东西吗, 但离推荐一个正规滚球网站真正需要的还很远.” 

她告诉他可以玩滚球的正规app月台的事, 它解决了Rick和他的团队通过处理破碎的数据和管道来解决的问题. 蒙特卡罗提供自动监控和警报, 以及战场级别的血统, 提供端到端 数据可观测性.

“我每天都在这个问题上生活, 现在我正和这家新公司通电话,我直到一周前才听说过这家公司. 说实话,这似乎太意外了,太好了,不可能是真的. 但如果这个承诺是真的,推荐一个正规滚球网站的团队就会觉得它将改变游戏规则. 那时候,推荐一个正规滚球网站的很多时间都被从推荐一个正规滚球网站真正想要建立的东西上抽走了. 所以我求巴尔让推荐一个正规滚球网站试试可以玩滚球的正规app. 在里面,我笑出了讽刺的声音——在这里,我在乞求一个卖主把他们的产品卖给推荐一个正规滚球网站. 那时她说不, 因为这个平台还没有真正为客户准备好, 但我想我用小狗赢得了她的芳心.” 

“农夫的狗”也成为了可以玩滚球的正规app的顾客, Rick仍然惊叹于他的团队在数据可观察性方面是如何迅速建立和运行的——“这只是两次会议, 一小时一个, 一个半小时,然后他们就开始运转了.

在短短几天内,Rick和他的团队开始收到关于数据问题的通知. 

“我甚至还没想到会有通知,”里克说. “我认为还会有另一个阶段的工作,推荐一个正规滚球网站必须建立它们. 我认为, “好吧, 推荐一个正规滚球网站把它配置好了, 下周我会找些空闲时间我会开始设置,这样推荐一个正规滚球网站就能得到这些通知.’然后,我的收件箱里就出现了一封. 从那时起, 推荐一个正规滚球网站收到了各种各样的异常情况的通知我都没想过要去检查. 我一直在回想推荐一个正规滚球网站最初的“6个月计划”,后来推荐一个正规滚球网站从蒙特卡罗得到的那么多警告甚至都不在推荐一个正规滚球网站最初的计划中.”

结果:检测数据中未知未知的能力

UTM参数只是蒙特卡罗如何帮助农民的狗检测数据问题的一个例子. 由于几个不同的工程小组位于数据策略的上游 & 洞察小组认为,一个小组所做的更改可能会对下游数据健康产生不可预见的后果. 

“很多ETL管道都是这样的, 在他们的心, 两个不同团队之间的沟通, 通常是在不同的公司,”瑞克说. “当一个团队做出改变时,会影响到另一个. 在最好的情况下, 你可能会在不同的团队之间有很强的沟通, 但是所有的管道都会在某一时刻破裂, 很难预料到数据会以各种不同的方式被破坏.”

他这样描述"未知的未知的数据问题 安娜卡列尼娜 原则 在数据形式中:“所有好的数据都是一样的,但是每一个坏的数据都有它自己的坏的方面. 推荐一个正规滚球网站的目标是让推荐一个正规滚球网站的数据管道像推荐一个正规滚球网站喂养的狗一样健康.”

通过监视数据停机, 发现异常时向相关团队发出警报, 并提供上游和下游依赖关系的沿袭, 蒙特卡罗帮助Rick和他的团队成为第一个知道什么时候出现故障的人——以及如何快速修复它. 

“蒙特卡罗在捕捉上游错误方面非常出色,”里克说. 能够告诉你哪里出了问题,并如此精确地引导你的注意力! 不仅指向特定的表,而且指向快速找到错误根源的沿袭. 这简直太不可思议了.”

结果:自助式数据故障排除

可以玩滚球的正规app的一个意想不到的好处, 根据里克, 它能在其他团队之间实现沟通吗. 

“农夫的狗”将蒙特卡罗整合进了Slack公司, 他注意到DataOps之外的工程师和产品经理使用该渠道来监控他们的上游工作.

“推荐一个正规滚球网站的总体理念是让人们尽可能多地获得数据和信息,”瑞克说. “所以如果有人认为这个监控工具对你的工作有帮助, 在这里你去, 让你去看看. 这是一个开放的渠道,任何人都可以直接进入并查看通知, 或者登录可以玩滚球的正规appUI,如果他们想要深入.” 

推荐一个正规滚球网站设置了单点登录访问, 授权任何拥有公司电子邮件的人访问平台,并监控流经他们工作的数据.

结果:建立数据信任

瑞克一遍又一遍地重复着这句格言:“农夫的狗不是一家科技公司——它是一家宠物保健公司,利用科技创造并提供一种全新的宠物食品。. 但对数据可观察性的投资和对数据工具的民主化访问,帮助农夫的狗实现了许多科技公司一直在努力实现的目标:建立对数据的信任.

与监控, 报警, 传承到位, Rick和他的团队可以主动地与组织中可能受到影响的同事沟通数据停机时间. “我可以让我的主要利益相关者知道‘在推荐一个正规滚球网站解决这个问题之前,这些报告是不可用的’。,”瑞克说. “但我发现,推荐一个正规滚球网站甚至不必经常走这条路,因为推荐一个正规滚球网站能够如此迅速地解决问题, 通常是在它们变成更大的中断之前发现它们的微小的快速修复方法.” 

最终,这 增加透明度和对数据质量的关注 帮助农民的狗完成他们更大的任务. “推荐一个正规滚球网站花了很多时间来保持数据的健康,但这些数据为推荐一个正规滚球网站的分析和见解提供了依据. 这些见解会影响到企业和狗的喂养——真的, 这都是为了让狗狗保持健康.”


想知道数据可观察性如何帮助您的组织更快地发现数据问题, 解决问题的速度, 建立对数据的信任? 接触 将知更鸟 剩下的 蒙特卡罗团队!