居民如何通过蒙特卡罗减少90%的数据问题

许多数据领导者告诉推荐一个正规滚球网站,他们的数据科学家和工程师花了很多钱 40%或更多 他们的时间 处理数据问题,而不是在真正能改变现状的项目上工作.

没必要这样的. 这是居民的数据工程团队的做法, 一个直接面向消费者的家具品牌之家, 减少了90%的数据事件 s点的数据可观测性凯尔.

在讨论数据驱动型公司时,直接面向消费者的床垫品牌可能不是人们首先想到的一类. 但是Daniel Rimon,数据工程的主管 居民, 这归功于他们在技术上的投资, data, 以及他们最近的成功营销:2020年, 《推荐一个正规滚球网站》实现了100%的增长,总销售额超过5亿美元, 并获得了一轮1.3亿美元的投资. 

“当你听到床垫的时候, 它不一定会告诉你数据或技术, 但这就是推荐一个正规滚球网站公司的宗旨,”丹尼尔说. 她目前所在的数据团队有4名分析师和3名工程师,由一位数据部门的副总裁领导. 

《推荐一个正规滚球网站》依靠数据来推动营销决策和支出, 拥有超过20个市场关系支持线索和客户跟踪, 分割, 和零售分析. 丹尼尔和她的团队现在管理着30多人,000个表,并利用包括蒙特卡罗在内的数据技术堆栈, 谷歌云平台, 气流, 多溪流的, 和其他企业工具, 进行实验,并使业务能够基于实时数据进行决策. 

“推荐一个正规滚球网站有很多数据,”丹尼尔说. “这让事情变得非常复杂,也很难追踪. 如果任何支持推荐一个正规滚球网站行动的数据丢失或损坏, 或者管道里的什么东西坏了, 这可能会导致整个行业的严重问题.”

挑战:连接不同的数据源和理解数据资产之间的关系
当您的数据资产的地图开始看起来像一堆橡皮筋时, 你知道你有麻烦了. 图片由Shutterstock提供,可通过其标准许可获得.

In 2019, 丹尼尔加入公司的时候, 居民一直在使用BigQuery来分析广告表现的数据, 跟踪营销花费, 商品成本, 和销售. 

“推荐一个正规滚球网站有复杂的查询,许多重复,不一致的逻辑——这真是一团糟,”Daniel说. “推荐一个正规滚球网站知道推荐一个正规滚球网站丢失了很多数据,想通过谷歌Analytics和谷歌标签管理器更好地跟踪推荐一个正规滚球网站的网站. 推荐一个正规滚球网站没有任何监控, 关于客户成功方面的信息, 推荐一个正规滚球网站发现推荐一个正规滚球网站没有很多营销渠道.”

该公司遭受了数据不可靠和团队关系紧张的困扰. 利益相关者和高管无法获得他们做出决策所需的最新数据,”丹尼尔说. “这也对业务部门之间的关系产生了负面影响. 例如, 如果你从事数据工程, 它确实会让你与BI或分析团队的关系变得紧张.”

超越公司内部关系, 客户体验也受到了影响, 糟糕的数据会导致客户收到与他们无关的邮件. 

当时,丹尼尔和她的团队试图手动处理数据问题. “推荐一个正规滚球网站的策略将基于记忆, 一些基本工具, 推荐一个正规滚球网站的分析师和同事给了推荐一个正规滚球网站很多希望和帮助,”她说. 手工工作导致了重复的视图和流程, 而且,该团队对哪些字段或表会影响下游数据的消费者没有清晰的理解. 他们设置的唯一通知是基本的故障通知.

“我早上, 或者是我老板的早上, 会从打开每个主仪表盘寻找错误或不合理的东西开始吗,”丹尼尔说. “它非常原始,效率非常低,实际上令人沮丧.”

偶尔, 丹尼尔了, 在向她的团队的大查询中注入数据的后端过程中,会有一些东西卡住. 除非她手动检查过仪表盘,否则她不会知道. “但有时公司的首席执行官会放松我和我的老板,说,‘这是怎么回事? 推荐一个正规滚球网站没有销售吗?’所以这就是我的噩梦——收到“数据不可靠”的信息. 数据被破坏了.没有上下文, 我不知道从何说起, 所以你必须进行调查并找到核心内容,这让人很沮丧. 当你刚到公司的时候,就没那么有趣了.以色列数据团队和美国同事之间的时差并没有起到帮助作用.

丹尼尔的老板知道情况必须改变, 所以Daniel被要求从头开始构建一个完整的数据性能流程. 现有的平台没有得到很好的维护,而且很难调试, 这是一项具有挑战性的工作.

我告诉了我的老板, “我希望有个地方,我可以坐一张桌子,看看它连接的所有东西,”丹尼尔说. “我可以知道, 它会影响这个和这个, 但不是在这里, 这是最终的仪表盘. 我需要一张很大的地图. 肯定有这样的东西!”

解决方案:数据可观察性 

丹尼尔和她的团队开始明白他们需要什么, 而不是构建一个定制系统, 居民开始使用蒙特卡罗来处理实时监控和警报, 以及血统——丹尼尔告诉她的老板她需要的数据关系的大地图. 

结果:通过实时监控和警报,在数据问题影响到数据消费者之前修复这些问题
图片由蒙特卡罗提供.

蒙特卡罗使用机器学习自动设置表的报警参数, 发现所有住院医师的表格在新鲜度或容量上的异常, 据丹尼尔估计,这占了他们警报的90%. 

现在, 而不是来自CEO的恐慌性信息, Daniel和她的团队现在会在Slack中收到蒙特卡罗警报,比如表更新的行数比预期的少, 或者没有在预期时间更新. 他们是第一个知道问题的人, 工程师可以很容易地更新问题状态以跟踪进展. 

Daniel还可以定义自定义警报, 比如,她为一组特别敏感的流程设置了一个位置,该流程依赖于谷歌Analytics在每天的特定时间将数据发送到他们的仓库. “它通常在以色列时间晚上7点左右到达,但这并不一致. 之后我还要安排具体的程序, 但如果我错过了, 我得重新来过. 我在晚上8点开始我的流程,第一步是知道谷歌Analytics更新发生了. 如果它丢失了,我会收到一条Slack警告消息,这样我就可以停下来,弄清楚发生了什么,并修复它. 我必须在主持之前手动检查这个,这真的很烦人. 我花了20秒设置这个警报,而且非常简单.”

结果:通过自动沿袭防止“数据灾难” 
图片由蒙特卡罗提供.

自动化血统对丹尼尔和她的团队来说是一个巨大的优势. “我不需要任何东西来维持这个家族. 如果我想要一些高级监控, 我可以定义它, 但我不需要任何条件就能获得这种血统. 这是梦想.”

创建沿袭图, 蒙特卡罗自动解析BigQuery查询日志中的SQL, 并通过连接器扩展到Looker和Github. 沿袭会随着数据的发展而自动更新.

图片由蒙特卡罗提供.

Daniel最喜欢的用例是一个名为“管理订单”的表, 其中包含所有关于订单的信息. “这是我最喜欢的桌子, 我可以看到很多关于它行为的信息, 就像提供给它的其他表和视图一样.“她能理解过去发生了什么变化. 她还可以看到下游视图,这些视图将受到Admin Orders更改的影响, 以及Looker仪表盘最终连接到她的表格上的东西, 因此,她可以与她的分析师和工程师合作,以了解任何更改的影响. 

“因为那些景观是他们建的——不是我,”丹尼尔说. “推荐一个正规滚球网站可以一起合作,确保在推荐一个正规滚球网站制造数据灾难之前就能防止灾难的发生.” 

结果:在管道的每个阶段都信任数据

居民的数据小组发现了一个 减少90% 自实施蒙特卡罗以来,在数据问题. 随着高管和利益相关者对数据的信任恢复, 居民计划构建更多的数据产品,进一步丰富他们的数据. 丹尼尔的团队对公司的未来是不可或缺的:“公司的任何流程都离不开推荐一个正规滚球网站. 人们信任和相信推荐一个正规滚球网站的数据,因为它是可靠的,是好的. 即使它很复杂,推荐一个正规滚球网站有工具来实时监控它,使它更可靠.”

数据可观察性对居民的影响

在数据可观察性的其他好处中,蒙特卡罗对居民产生了积极影响:

  • 手工流程自动化 因此,数据团队可以将时间和精力集中在创新和改进上,而不是救火
  • 缩短出现数据问题时的检测时间 通过自动和自定义警报
  • 防止下游刀具磨损 通过自动化的传承和改进的协作
  • 恢复对数据的信任,实现更好的决策 通过确保高管获得推动业务发展所需的准确信息

丹尼尔说:“在可以玩滚球的正规app之前,我总是很警惕,害怕自己会错过什么。. “现在我无法想象没有它的工作. 一年前的事故只有现在的10%. 推荐一个正规滚球网站的团队非常可靠,大家都依靠推荐一个正规滚球网站. 我认为每个数据工程师都必须有这种水平的监控,以便以一种高效和良好的方式完成这项工作.”

有兴趣了解数据可观察性如何帮助您恢复对数据的信任并回收宝贵的工程时间? 接触 将知更鸟 剩下的 蒙特卡罗团队! 

特别感谢丹尼尔和住院医师!