交付数据质量:如何通过蒙特卡罗降低88%的数据停机时间

Image courtesy of Choozle.

Choozle 是一家领先的数字广告软件公司,为中小型企业提供企业级广告技术. 

In October of 2021, Choozle发布了一个主要的平台更新来提供它的6,通过提供更多的数据,并使他们能够连接到诸如谷歌Analytics等外部平台,000多家广告商和代理机构能够全面洞察他们的活动表现, Facebook, AdWords, and more. 

这次升级还提供了更广泛的活动性能数据,用户可以访问这些数据,以及他们如何在Choozle平台上与这些数据进行交互.

“雪花让推荐一个正规滚球网站能够向用户提供所有可用的信息. For example, 推荐一个正规滚球网站可以显示前20个邮政编码的活动表现,现在广告商可以访问所有30个邮政编码的数据,000 zip codes in the US if they want it,” said Adam Woods, Chief Technology Officer, Choozle. “这次发布非常干净,推荐一个正规滚球网站看到客户对推荐一个正规滚球网站的新报告能力的满意度有了巨大的提升.”

With Choozle, 如果广告商愿意,他们可以看到美国每一个邮政编码的竞选表现. Image courtesy of Choozle.

挑战:餐桌的扩张和碎片化

Choozle的主要数据源是需求侧平台(dsp), 它们为用户购买媒体提供了便利. 这些数据源是静态的,具有已定义的摄取模式, 并由ELT管道提供支持,它将数据带入统一的模式,在这个模式中,Choozle抽象出了不同平台之间数据呈现方式的差异. 

当Choozle发布了其强大的统一报告功能后,这个等式发生了改变,数据质量出现了问题, 哪些允许用户连接外部媒体资源. 

“When our advertisers connect to Google, Bing, Facebook, or another outside platform, Fivetran进入数据仓库,并将其放入完全自动化的报表堆栈中. 我不知道广告商什么时候创建了一个连接,”亚当说. 这就造成了桌子的杂乱、扩散和碎片化. 推荐一个正规滚球网站需要数据监控和警报,以确保所有这些表都是同步和最新的, 否则推荐一个正规滚球网站就会开始收到客户的来信.”

如果没有数据可观察性或其他监控系统,表的激增可能会导致数据质量问题. 图片由VZ_Art在Shutterstock上提供,购买使用标准许可.

数据质量方面的任何问题都会影响客户信任平台的意愿.

“广告商依赖于数据的可见性,因此他们可以快速解决问题并主动优化性能,” said Adam. “如果推荐一个正规滚球网站发生了妨碍这种能见度的事件,推荐一个正规滚球网站将立即从客户那里得到消息.”

因此,Adam和Choozle数据工程团队决定提前进行评估 data observability 确保数据符合必要的质量和可靠性标准的解决方案.

“In a previous role, 推荐一个正规滚球网站有一个非常复杂的数据堆栈,并经历了推荐一个正规滚球网站的数据质量的并发症, 所以我对这个挑战很敏感,” said Adam. “我的首要任务之一是在问题影响到客户之前识别并解决它们. 推荐一个正规滚球网站将积极主动地进行这次发布.”

解决方案:用蒙特卡罗方法实现数据的可观测性

在评估过程中,Choozle的关键要求集中在 ease of integration and time-to-value.

推荐一个正规滚球网站之前构建了许多定制监视器,以查看cron作业是否在通过警报和升级时失败 PagerDuty at a job level, 但让我印象深刻的是,蒙特卡罗与雪花的集成非常紧密,它可以自动发现推荐一个正规滚球网站数据的每一个可能的问题,” said Adam. “对于推荐一个正规滚球网站获得的报道来说,设置非常简单. 我没有看到任何竞争对手能像可以玩滚球的正规app那样满足推荐一个正规滚球网站的需求.”

由于相关的维护成本,Adam也排除了开源解决方案.

“我理解转向开源的本能, 但实际上我拥有蒙特卡罗这样的工具的成本更低,因为管理负担很低,生态系统也很好地配合在一起. 在和可以玩滚球的正规app队打了一通电话之后, we were connected to our data warehouse, and we had data observability a week later,” said Adam. “我喜欢雪花和可以玩滚球的正规app,我的数据堆栈总是最新的,我从来没有应用补丁. 推荐一个正规滚球网站能够将开发人员和数据库分析师原本要花在更新和基础设施上的时间重新投入到构建卓越的客户体验中.”

For Adam, 蒙特卡罗最大的好处之一是它的主动警报监测和与Slack的集成.

A company responding to an alert in Slack. Image courtesy of Brandon Beidel.

“Slack的提醒可以让我立即看到. 我可以看到开发人员什么时候开始调查问题,什么时候解决了问题,” said Adam. “Monte Carlo alerts are high quality. We don’t get many false alarms, 这真的有助于建立事件管理和响应的紧急文化吗.”

Monte Carlo has also given the Choozle team deeper visibility 这些问题可能没有被发现.

“Without a tool like this, 推荐一个正规滚球网站可能在最终结果表上有监测覆盖率, but that can hide a lot of issues,” said Adam. “在那张表中,你可能看不到与成千上万个活动中的一小部分相关的内容, 但是做广告的人会看到的. 在可以玩滚球的正规app推荐一个正规滚球网站处于一个不需要妥协的水平. 推荐一个正规滚球网站可以在3500张桌子上设置警报.”

仪表盘显示了过去七天发生的事件. Image courtesy of Monte Carlo.

The Monte Carlo platform also provides field-level lineage 集中的数据编目可以让团队更好地理解可访问性, location, health, and ownership of their data assets, 以及遵守严格的数据治理要求.

“在使用这个平台的时候,能够看到完整的传承帮助推荐一个正规滚球网站理解数据是如何到达某个点的,” said Adam. “It is a nice layer of extra documentation.”

Lineage可以帮助用户理解数据资产可能受到的上下影响. Image courtesy of Monte Carlo.

The Results: 88% Reduction In Data Downtime

每个组织都会经历某种程度的数据停机, or periods of time when data is partial, erroneous, missing or otherwise inaccurate. By leveraging Monte Carlo, Choozle has 减少了大约88%的数据停机时间.

推荐一个正规滚球网站每周会看到2到3起严重程度不同的真实事件. 这些问题在一个小时内就能解决,而在此之前可能要花一整天。. “当你在离破损时间更近的时候得到提醒,你的认知就能更快地理解环境发生了什么变化。.”

For example, 最近,当他们在产品中引入了一种新的媒体流时,Choozle团队立即收到了效果. 该团队缺少一个包含唯一标识每个表记录的主键的字段.

详细的广告组业绩报告与Choozle. Image courtesy of Choozle.

推荐一个正规滚球网站希望该字段不会100%为空. 推荐一个正规滚球网站开始收到一些竞选活动,大约 .2%, where that value was null,” said Adam. “这让推荐一个正规滚球网站在有人注意到某些带有特定观点的竞选活动没有看到任何数据之前,就开始关注并解决这个问题. 随着时间的推移,这类问题可能会被放大,并将各种各样的垃圾填满表格. 在蒙特卡罗的帮助下,推荐一个正规滚球网站的检测时间从几天缩短到了几分钟.” 

For Adam, 蒙特卡罗已经成为现代数据栈的一个组成部分,也是Snowflake用户的必备工具.

“我想象不出一种情况,我会点燃雪花,而不是让蒙特卡罗来控制它,” said Adam. 它已经和Looker以及GCP中的机器学习一起成为我的首选.”

现在,由于CCPA和GDPR等法规给广告商带来了压力,Choozle专注于数据治理计划,并将最先进的隐私合规技术引入中端市场.

“如果你是一家大型公司,数据掩体是很好的, 但是,如果你是一个中等规模的组织,生活在一个具有高合规门槛的世界里, you need another type of solution,” said Adam. “将数据可观察性放在适当的位置是这一过程的重要部分,我建议将其作为数据目录和其他投资之前的第一步.”

雪花和蒙特卡罗降低了风险,降低了数据专业人员创新的障碍. Image courtesy of Monte Carlo.

Adam对其他数据专业人士的建议是要大胆:随着Snowflake等云数据仓库和Monte Carlo等SaaS平台的兴起,创新的风险已经大大降低.

“十年前,当我还在经营prem仓库的时候,创新是非常困难的. 每个新建议的答案都是否定的,因为你不想破坏整个仓库. 我鼓励我的开发人员更加积极进取. 您不会通过编写一个糟糕的查询来破坏Snowflake, and if you did we would know it right away,” said Adam. “It’s the same with Monte Carlo. 如果你已经有了雪花,尝试几乎没有风险. 推荐一个正规滚球网站的成本是3个人每小时的工资,推荐一个正规滚球网站立刻就看到了价值.”

Interested in reducing your data downtime? 联系可以玩滚球的正规app小组的成员 schedule a demo.

在下面的“Powered By”一集中了解更多关于Choozle是如何在雪花上建立一个广告平台的.