数据可观察性:Yotpo如何用蒙特卡罗修正尺度上的数据质量

公司花费超过 每年1500万美元 解决 数据停机时间换句话说,就是数据丢失、损坏或出现其他错误的时间段 五分之一的公司 因为数据质量问题而失去客户. 

幸运的是,推荐一个正规滚球网站还有希望 数据的下一个前沿:可观察性. Yotpo的数据工程师和BI分析师是这样做的, 全球电子商务公司, 增加的成本节约, 协作, 以及大规模数据可观察性的生产率.

Yotpo 与世界各地的电子商务公司合作,帮助他们通过评论加速在线收入增长, 视觉营销, 忠诚度和推荐计划, 和短信营销.

Yoav卡闵,业务绩效总监,和 Doron波拉特, 数据工程团队组长, 拥有一贯准确可靠的数据是这项任务成功的基础. 

挑战在于:破损的数据管道 & 指示板

自从第一天, Yotpo为内部团队投资了一个分布式数据平台,以支持公司的不同数据需求, 从生成市场报告到授权产品开发团队为用户构建更好的服务.

在过去的几年里, Yotpo呈指数级增长, 在全球范围内扩展业务,并收购了Swell Rewards和SMSBump等公司. 随着Yotpo的增长,数据源的数量和数据管道的复杂性也在增长. 随着时间的推移, 跟踪数据完整性变得更加困难, 血统, 和质量, 可靠数据的三个关键特征. 这 数据停机时间, 换句话说, 数据丢失的时期, 不准确的, 或其他错误, 导致了时间密集和成本高昂的数据火灾演习,这导致了Yotpo业务绩效团队和数据工程团队之间的摩擦. 

“一次又一次, 推荐一个正规滚球网站的员工会找到我的团队,告诉推荐一个正规滚球网站数据是错误的, 但推荐一个正规滚球网站一开始就不知道数据是如何泄露的,”Doron说. “推荐一个正规滚球网站很清楚,推荐一个正规滚球网站必须更好地控制推荐一个正规滚球网站的数据管道, 因为推荐一个正规滚球网站不能让推荐一个正规滚球网站的数据消费者就数据问题提醒推荐一个正规滚球网站,并让推荐一个正规滚球网站措手不及  , 这样的话,没人会相信推荐一个正规滚球网站的分析.” 

为了解决这个问题,Yotpo需要一种更好的方法来管理数据健康和发现. 在一天结束时, 他们需要一种解决方案,能够在正确的时间提供正确的信息,以提醒和防止数据管道和商业智能仪表板中的异常情况, 在他们影响业务之前. 

解决方案:用蒙特卡罗方法实现数据的可观测性

帮助他们消除数据停机并释放数据的潜力, Yotpo之所以选择与蒙特卡罗合作,是因为他们通过端到端数据可观察性主动防止数据管道破裂. 

蒙特卡罗数据可观测平台自动监控Yotpo数据生态系统的关键特征, 包括数据新鲜度, 分布, 体积, 模式, 与血统. 不需要手动设置门限,蒙特卡罗可以快速回答如下问题: 

  • 我的表最后一次更新是什么时候? 
  • 我的数据是否在可接受的范围内? 
  • 我的数据完整吗?? 2000排突然变成了50排吗? 
  • 谁有权使用推荐一个正规滚球网站的营销表格并对其进行修改? 
  • 我的数据在哪里泄露了? 哪些表格或报告受到影响?

蒙特卡罗的无代码集成和20分钟的加载时间意味着Yotpo在几分钟内就可以启动并运行数据可观察性, 而不是几周或几个月. 

结果:通过追踪异常数据节省了成本

开箱即用的, 该平台让Yotpo了解了他们的红移环境, 包括所有数据资产, 模式, 和表. 他们的机器学习算法自动生成规则,通知数据停机监测和警报, 提供即时的价值.  

图片由蒙特卡罗提供.

最近一个关于蒙特卡罗和数据可观察性对团队的影响的例子是,当Segment实例中的一个错误数据点产生了比预期多6倍的行, 即使考虑到季节性和正常数据的波动. 图片由蒙特卡罗提供.

当钉子出现的时候, 可以玩滚球的正规app立即通知了我的团队, 允许推荐一个正规滚球网站在异常影响到下游数据消费者之前进行调查和排除故障,”Doron说. “因为推荐一个正规滚球网站马上就发现了这个, 我可以放心,重要的业务指标不会受到影响. 如果不是可以玩滚球的正规app,推荐一个正规滚球网站不可能知道出了什么问题.” 

因为数据工程团队在问题影响到他们的涉众之前就被告知了这个问题, 他们能够修复管道,并防止未来的异常情况危及数据的完整性. 

结果:通过追踪领域层次的传承改进了协作

数据可观察性对Yotpo的日常运营至关重要的另一个用例是Yotpo的业务应用团队, 负责整合和维护内部运营系统,如Salesforce, 想要用一个新的油田取代一个过时的油田. 他们的许多仪表盘严重依赖这一领域,所以他们必须提前准备这一变化. 

图片由蒙特卡罗提供.

使用信息丰富的查询日志, 可以玩滚球的正规app帮助Yotpo了解了该油田的下游依赖关系, 2)谁在使用表格和如何使用3)哪些仪表盘正在使用旧的字段(沿袭)和4)新字段已经被添加到哪里,以跟踪这次更新的进度. 图片由蒙特卡罗提供.

“蒙特卡罗的血统突出了推荐一个正规滚球网站数据生态系统中的上下游依赖关系, 包括Salesforce, 让推荐一个正规滚球网站更好地了解推荐一个正规滚球网站的数据健康状况,”Yoav说. 而不是被动地在仪表盘坏了之后修理它, 蒙特卡罗提供了推荐一个正规滚球网站需要积极主动的可见性.”

结果:通过密切关注废弃的数据集来提高生产率 

图片由Barr Moses提供.

此外,蒙特卡罗使Yotpo对的相关性和使用模式有了更大的透明度 重要的数据资产, 当不同的属性(如记录类型ID和特定的数据集)被弃用时通知他们. 蒙特卡罗数据目录功能允许他们跟踪添加和使用新字段的位置,这样您就可以对需要更新的仪表板保持标签. 这些知识确保Yotpo可以相信他们的数据是准确可靠的, 即使他们的数据平台在发展.

“一旦你对你的数据失去信任,你就失去了可靠性,”多伦说. “使用蒙特卡罗,数据停机时间更少,数据可靠性更高. 痛苦的模式更改和破碎的仪表盘的日子已经一去不复返了.”

数据可观测性对Yotpo的影响

对于Yotpo, 蒙特卡罗的数据可观察性方法使他们能够快速解决数据质量问题,这样他们就可以开始相信他们提供的数据是可靠的, 对业务的可操作的见解.

“推荐一个正规滚球网站的高管依靠推荐一个正规滚球网站团队的仪表盘来做决定. 与蒙特卡罗, 当数据发生变化时,推荐一个正规滚球网站确切地知道该更新什么, 所以没有停机时间,也没有消防演习. 推荐一个正规滚球网站的决策者更高兴了,我晚上可以睡个好觉了。.

在数据可观测性的其他好处中,蒙特卡罗使Yotpo能够: 

数据可观测性, Yoav, Doron, Yotpo团队的其他成员已经做好了消除数据停机的准备,并继续释放数据的潜力.  

特别感谢Yoav, Doron和Yotpo团队的其他成员!