监视器作为代码:从CI/CD工作流程中部署自定义数据质量监视器的新方法

蒙特卡罗发布监视器作为代码, 一个新特性,允许数据工程师轻松地配置新的数据质量监视器作为他们日常工作流程的一部分.

随着数据团队的扩展, 部署测试以覆盖所有场景的操作开销变得越来越困难. 随着数据生态系统的发展,其规模 未知的未知 (换句话说, 你无法预测的数据问题)已经增长, 导致分析师瓶颈, 耗时消防演习, 数据信任的丧失.

与蒙特卡罗, 数据团队可以跨其数据仓库或数据湖中的每个表部署自动监视器, 然后监测这些表的新鲜度是否出现意外的峰值或下降, 体积, 以及模式的意外变化. 

补充这些自动化监控, 蒙特卡罗提供了多个定制监控器,以识别和警告您的基础数据中的特定异常-检查异常,如空百分比, 字段值内的唯一百分比, 改变了值的分布. 推荐一个正规滚球网站还以SQL命令的形式提供了更深入的定制监视器,用于检查可以用SQL表示的任何条件. 到目前为止, 蒙特卡罗的客户能够通过蒙特卡罗UI或蒙特卡罗api部署定制监视器. 

今天, 推荐一个正规滚球网站激动地宣布,推荐一个正规滚球网站已经发布了一个基于代码的解决方案,允许客户快速扩展他们将如何部署和管理蒙特卡罗定制监视器, 换句话说,这一切都得益于他们的IDE, 监测代码. 使用监视器作为代码, 数据工程师现在可以通过YAML配置文件配置监视器,并将这些监视器作为构建过程的一部分或在CI/CD过程中轻松应用.

将自定义监视器设置为代码的示例. 图片由蒙特卡罗提供.

为什么推荐一个正规滚球网站对显示器作为代码感到兴奋——你也应该如此: 

  1. 它在源代码控制中进行维护,以便对更改进行适当的跟踪和批准.
  2. 它可以是自动化的.g. 您可以轻松地创建100个监视器,而无需重复的UI点击, 您可以强制执行某些标准, 等.)
  3. 它自然适合数据工程工作流程(包括编写代码), 测试, 现在, 监控.)
  4. 它使得创建新的监视器是一致的和可预测的,并且减少了出错的可能性.g. 你不会让某人不小心删除/更新监视器.)

有关如何在CI/CD进程中将监视器实现为代码的更多信息,请查看推荐一个正规滚球网站的 文档.

推荐一个正规滚球网站的客户有什么要说的

监控器as Code使得数据团队可以更容易地设置和改进数据质量监控器,并将其作为日常工作流程的一部分, 帮助他们实现跨关键数据集的端到端数据信任. 

“哇,这太酷了! 我试图通过graphQL API来设置它,但放弃了. 我迫不及待地想和分析师们分享这个。”——一家500人的AdTech公司的数据工程师.

有兴趣学习更多关于监视器代码和蒙特卡罗的端到端数据可观察平台? 接触 旧金山 和可以玩滚球的正规app团队的其他成员 演示.