Optoro如何在蒙特卡罗建立数据信任和所有权

当您的客户第一个知道数据出错时, 他们对你的数据和你的公司的信任被破坏了. 了解物流公司Optoro的数据工程团队如何直面这一挑战, 利用大规模的数据可观测性,回收数据信任和宝贵时间. 

华盛顿哥伦比亚特区 Optoro 它有一个令人钦佩的使命:通过消除所有退货中的浪费,使零售更加可持续. 他们为像宜家这样的领先零售商提供退货技术和物流服务, 目标, 和百思买, 帮助提高利润,同时通过再商业减少环境浪费, 或者为退货找到“下一个最好的家”.

我最近有机会和帕特里克·坎贝尔聊天, Optoro首席数据工程师, 在Fivetran 数据工程师答谢日. 推荐一个正规滚球网站深入了解了Optoro的数据团队和技术堆栈,他们面临的挑战,以及如何应对 数据可观测性 帮助他们实现他们的使命,建立一个更可持续的零售业.

Optoro的数据状况

表面上,Optoro会为零售商重新安排退回或未售出的商品. 但除了移动大量的商品,Optoro实际上是在移动数据. 大量的数据.

帕特里克说:“推荐一个正规滚球网站的技术平台将每一件物品连接到下一个最佳家居。. “你可以想象, 当推荐一个正规滚球网站通过系统返回库存时,该系统创建了许多关键任务数据点.” 

Optoro的数据工程团队最近加入了工程组织,以更有效地与技术和产品团队合作, 但它们自然会与数据质量合作, 数据科学, 以及数据分析小组. Optoro也有很多数据消费者, 内部和外部的, 通过Looker仪表板访问数据. 但它并不总是可靠的.

挑战:数据完整性

“推荐一个正规滚球网站需要洞察推荐一个正规滚球网站的数据质量,简单明了,”Patrick说. “推荐一个正规滚球网站没有一个很好的方法来了解数据何时可能丢失, 它可能会变质, 或者数据不符合推荐一个正规滚球网站的预期.”

这意味着当数据出现问题时, 客户(而不是Optoro的数据团队)通常是第一个知道的. 这将导致客户的不满,并阻止Optoro提供关于其软件管理的库存的可靠信息.

解决方案:数据可观察性 

蒙特卡罗的警报工作流程通知帕特里克的团队某一特定仓库的异常情况, 由分发问题引发. 图片由Optoro提供.

帕特里克的团队需要在客户和不良数据之间找到平衡点, 他们有两个选择:建造或购买. Patrick考虑使用印度生物技术部构建自定义SQL完整性检查, 但我知道资源有限, 他的团队只能部分覆盖Optoro的许多管道, 从长远来看,哪些因素会增加数据工程团队已经非常繁重的工作. 

而不是, 他们选择用蒙特卡罗创建一个概念验证,看看他们能在多大程度上解决数据质量问题 可观察性数据平台, 它使用机器学习来推断和学习数据的样子, 识别数据质量问题, 并在出现问题时通知正确的团队成员. 

POC要求Optoro能够实现以下目标: 

  • 对过时的数据产品发出警报
  • 对大型管道更改(如模式更改)发出警报
  • 当操作数据库安全故障转移时,始终开启监视和警报
  • 根据预期的数据行为自动生成规则
  • 编写自定义警报SQL检查以监视特定用例的能力. 

这些结果将帮助Patrick的团队实现他们的最终目标,即防止数据质量问题对客户体验产生负面影响. 

Optoro的数据平台利用了雪花仓库, Fivetran集成, 印度生物技术部的转换, 数据可观测性的蒙特卡罗方法, 和Looker的分析. 图片由Optoro提供.

推荐一个正规滚球网站很快就交付了Optoro想要的东西. 帕特里克和他的团队向前推进,全面整合可以玩滚球的正规app, 和雪花一起分层, Fivetran, 印度生物技术部, 以及更多Optoro的数据堆栈. 从摄取到转换到BI报告,这些工具一起工作, 而蒙特卡罗则密切关注着数据生命周期的每个阶段.

结果是:通过血统获得可信数据

蒙特卡罗让Patrick的团队在他们的数据资产上绘制端到端血统, 深入到洛克的现场. 图片由Optoro提供.

蒙特卡罗的监控和警报已经就位, Patrick和他的团队现在是第一个知道何时数据丢失或管道中断的人. 当警报来的时候, 由于蒙特卡罗提供的自动化沿袭,数据工程师可以更快地解决问题.

“推荐一个正规滚球网站可以看到受影响的数据源, 从内部数据集市一直到推荐一个正规滚球网站的Looker报告,这些报告可能是面向客户的,帕特里克说:“. “能够迅速发现客户面临的问题,并积极主动,是在推荐一个正规滚球网站的数据中建立信任的关键. 这个特性使数据工程师的工作更容易——我可以从这里的经验告诉你.” 

为Optoro的数据工程师, 端到端的解脱, 完全自动化的数据沿袭,不需要任何手动映射或更新,是Patrick最喜欢的平台部分之一. 

“事实上,蒙特卡罗系统能够建立这一血统本身就是值得注意的,帕特里克说:“. “在构建上下游依赖关系方面,推荐一个正规滚球网站的数据团队几乎不需要输入任何信息.”

其结果是:数据团队节省了时间,提高了效率 

Optoro数据工程团队还估计,使用蒙特卡罗为每个工程师节省了至少4个小时的时间, 每周, 在支持票上调查坏数据. 一个11人以上的数据工程团队,总共是 每周44小时.

因为所有的数据团队——不仅仅是工程师——都可以访问自助监控和警报, 数据编目视图, 和可以玩滚球的正规app的血统, Patrick报告说,其他数据团队也在加紧对数据的所有权,并在交付的产品中承担更多责任. 

“这不仅是数据工程在大海捞针方面的巨大胜利, 但它帮助推荐一个正规滚球网站使其他数据团队能够帮助推荐一个正规滚球网站保持对数据的信任,帕特里克说:“. “使用这些框架可以让数据工程不再是这些情况下的中间人……数据完整性真的应该是自服务的。. 你的数据工程师会感谢你的.”

想知道数据可观察性是如何帮助你的团队建立信任和节省时间的? 伸出手去 蒙特卡罗团队 要了解更多!