数据可观察性:Blinkist如何用蒙特卡罗在规模上防止破碎的数据管道

公司花费超过 1500万美元一nually 解决 data停机时间换句话说,就是数据丢失、损坏或出现其他错误的时间段 超过88%的美国人.S. businesses 是否因为数据质量问题而损失了钱.

幸运的是,推荐一个正规滚球网站还有希望 n数据工程的新前沿:可观察性. 这是Blinkist的数据工程团队的做法, 图书汇总订阅服务, 增加的成本节约, 协作, 以及大规模数据可观察性的生产率.

在全球拥有超过1600万用户, Blinkist 通过电子书订阅服务,帮助时间紧张的读者将学习融入生活.

Gopi•克里, 工程总监, 带领团队负责数据工程, 基础设施, 云卓越中心, 增长, 和货币化. 对Blinkist来说,拥有值得信赖和可靠的数据是他们业务成功的基础.

挑战在于:破碎的数据管道会影响增长、用户体验和可靠性

缺乏实时数据跟踪导致关键分销渠道的营销支出减少. 图片由Blinkist提供.

作为一家高速增长的公司,Blinkist利用付费绩效营销来促进客户获取. 他们的2020年战略——雄心勃勃的40%的增长目标——包括对脸谱网和谷歌等渠道的大量投资, 根据Blinkist应用和渠道本身共享的行为数据自动优化营销活动. 

当然,像2020年的许多公司一样,COVID-19大流行改变了一切. 现在, 历史数据并没有反映出受众当前的现实生活, 实时数据变得至关重要——不仅仅是用来确定广告支出, 而是为了了解用户与Blinkist应用和网络内容互动的现状. 

这些数据中的任何不准确都可能影响决策, 从活动支出到产品路线图的更新. 关键是不能错过任何创新的机会, 从添加新功能到简化登机手续,再到测试新广告——因为围绕“改善你的通勤”的宣传活动已经不再有意义了. 

随着c级高管和活动经理越来越依赖实时洞察来推动营销策略, 预算支出, 和投资回报率, Gopi和他的团队正在努力解决数据质量和数据停机问题, 仪表盘更新延迟, 和破碎的管道. 

“每个星期一,推荐一个正规滚球网站都会接到高管的电话,”高皮说. 而且几乎每周一, 我在这个电话上试图回答为什么推荐一个正规滚球网站不能扩大规模, 问题是什么, 在追踪数据方面,推荐一个正规滚球网站面临着多少问题……试图解释问题的严重性,并试图增强执行利益相关者的信心.” 

Gopi估计他的团队在花钱 50%的工作时间用于消防数据演练,试图解决数据停机问题,同时重建与组织其他部分的信任. 这是不可持续的——必须有所改变.

解决方案:用蒙特卡罗方法实现数据的可观测性

Blinkist利用数据的可观察性,在整个公司范围内恢复对数据的信任, ,反过来, 确保合理分配市场营销支出. 图片由Blinkist提供.

因此,在2020年的秋天,Gopi和他的团队重组并重新定位. 他们按照…的模式制定了一个计划 深思熟虑的执行框架 他们设定了一个明确的目标,即在公司内部建立对数据的信任. 

“这个框架的核心是数据可靠性工程——推荐一个正规滚球网站所处理的问题 数据的可靠性 作为一等公民, 在过去的十年里,工程团队也开始以同样的方式对待DevOps和站点可靠性工程,”Gopi说. 

实现数据可靠性的基础是关注数据治理, 数据质量, 和重构系统. 

“随着推荐一个正规滚球网站转向尝试引入数据可靠性工程原则, 蒙特卡罗为推荐一个正规滚球网站在短时间内轻松采纳并满足这三个期望发挥了关键作用,”Gopi说 

结果:通过自助工具更快地解决数据事件 & 明确数据可靠性sla

通过设置清晰的数据可靠性服务水平协议和利用自助服务工具, Blinkist能够在数据宕机影响到下游用户之前进行补救. 图片由Blinkist提供.

没有代码与新员工培训, 蒙特卡罗在不到两周的时间里就开始运转了, 提供对其数据管道和关键资产运行状况的即时可见性, 大大加快了他们的事件响应时间. 

“推荐一个正规滚球网站可以立即看到发生了什么,”Gopi说. “日常, 推荐一个正规滚球网站可以看看是否有管道破裂, 未更新的表, 或者由于在上游添加或删除了某些内容而更改了数据模型的表.”

Gopi和他的团队努力重建破碎的信任和破碎的管道, 他们与公司领导合作,建立了对数据可靠性原则的共同理解,并制定了具体方案 数据sla(服务水平协议)

数据利益相关者也被允许使用可以玩滚球的正规app报告, 增加整个公司数据健康状况的透明度. 

“数据可观察性的自助服务功能有助于重建对数据的信任, 当用户看到推荐一个正规滚球网站的行动时:从红色警报到蓝色“工作在进行中”,再到绿色的“已解决”,”Gopi说. “他们知道谁应该负责, 他们知道团队正在努力, 一切都变得一清二楚.”

结果:通过关键数据资产的自动监控和警报,每周节省120小时的时间

数据可观察性为Blinkist提供了一个关于其数据资产真相的集中来源, 包括揭示相关异常和跟踪血统到现场水平. 图片由Blinkist提供.

蒙特卡罗检测Blinkist数据景观中的异常, 使用机器学习算法生成控制数据停机警报的阈值和规则. 这种自动监控挽救了Gopi团队的生命 每个工程师每周工作20小时而在内部进行开发是不切实际的. 这导致了累积的时间节省 每周120小时 对于Gopi的团队来说,这些精力现在可以用来开发产品或进行其他创新.

“特别是考虑到推荐一个正规滚球网站的工作时间, 数据可观测平台不是推荐一个正规滚球网站可以建立的,”Gopi说. “这基本上就是Monte carlo背后运行的人工智能的力量——构建这种工具, 您需要有大量的内部知识来构建这些业务规则和创建这些警报.”

多亏了前面提到的自助式报告和数据sla, 数据可观察性还有助于涉众更有效地工作. 

例如, 当一个渠道经理注意到一个活动表现不佳, 他们可以轻松地访问数据报告,并查看是否满足了数据可靠性sla,以及数据管道是否正常工作. 如果是这样的话, 他们可以消除错误数据,并寻找其他解决方案, 比如改变广告创意或调整目标受众——而无需向数据团队的同事要求时间或精力. 

结果:通过防止破损的数据管道和仪表盘来增加收入

数据事故的自动警报确保了Blinkist的数据团队能够第一时间知道管道何时破裂或仪表盘何时失效. 图片由Blinkist提供.

因为Blinkist能够更快地检测和解决数据停机, 他们的营销渠道兴旺发达, 增加收入. 

“如果推荐一个正规滚球网站能够在24小时内发现并解决问题, 脸谱网或谷歌可以自动更正,永远不会缩小活动规模,”Gopi说. 

有更准确的分析和新恢复的信任他们的数据, Blinkist营销人员现在能够迅速做出决定,优化他们的广告支出,以获得更好的目标和性能. 

“推荐一个正规滚球网站今年看到的增长规模是压倒性的,”Gopi说. 尽管数据团队不能完全负责, 我确信推荐一个正规滚球网站能够做的事情——在数据可观察性和将数据操作透明化方面——改善了推荐一个正规滚球网站针对受众和渠道的方式.”

Blinkist的数据可观察性的影响

数据可观察性恢复了对数据的信任, 确保营销支出得到合理分配, ,反过来, 提高收入. 图片由Blinkist提供.

数据可观察性帮助Blinkist增加了收入, 节省时间, 在整个组织内重建信任和数据透明度. 破坏的数据管道在控制之下, 他们的数据工程师专注于创新和解决核心业务问题,而不是救火.

在数据可观察性的其他好处中,蒙特卡罗使Blinkist能够: 

“蒙特卡罗通过自动检测新鲜度方面的异常,使生活变得更加简单, 数据量, 数据模型改变了,”Gopi说. “这对推荐一个正规滚球网站在正确的时间采取行动,确保减少甚至防止数据停机非常有帮助.”

有兴趣了解数据可观察性如何帮助您通过更可靠的数据实现成本节约? 接触 将知更鸟 剩下的 蒙特卡罗team!

特别感谢Gopi和Blinkist团队的其他成员!

2019年首席数据官研讨会的3个要点

世界上最具创新性的债务抵押债券是什么.

如何像老板一样迁移到雪花

为了顺利迁移,您需要知道三件事.

数据停机时间的兴起

介绍“数据停机时间”及其对数据团队的重要性.

推荐一个正规滚球网站

请求一个演示
友情链接: 1 2 3 4 5 6 7 8 9 10