用反向ETL和数据可观测性解决数据的“最后一英里”问题

现代数据团队拥有所有正确的解决方案,以确保数据被吸收, 存储, 改变了, 并加载到他们的数据仓库, 但是在“最后一英里”发生了什么?换句话说, 数据分析师和工程师如何确保转换, 可操作的数据实际上是可以访问和使用的? 

反向ETL和数据可观察性可以帮助团队在信任你的数据产品时更加努力. 

这是9.m. -你已经喝了第二杯咖啡了, 你最喜欢的Spotify播放列表就在你的背景声中, 你刚刚刷新了团队的“市场分析”仪表盘,这已经是今天早上的第三次了, 只是为了确保数据在首席营销官的《推荐一个正规滚球网站》周刊之前被核实. 世界上一切(似乎)都是对的.  

然后, 就在你进入最佳状态的时候, 全世界都能听到松弛的声音:“为什么Salesforce不更新最新的数据?” 

如果这种情况听起来很熟悉,你并不孤单. In 2021, 各家公司都在数据上押下重注,以推动决策,并为其数字产品提供动力, 然而,到 68%的数据 由于在仓库中转换后发生的问题,它经常不被使用. 

经常, 在你的Looker或Tableau仪表板中的数字和你的操作系统中所表示的数字之间存在脱节(i.e.比如你的首席营销官Salesforce的报告),拖累了你的利益相关者,削弱了对数据的信任. 推荐一个正规滚球网站把这种数据称为“最后一英里问题”,这对现代企业来说是非常普遍的现实. 

幸运的是,有一个更好的方法: 反向ETL. 在伙伴关系 数据可观测性, 这套新的数据工具可以帮助数据团队释放可访问性的潜力, 在最重要的时候提供可靠的数据. 

什么是反向ETL?

图片由作者提供.

如果像Fivetran和Stitch这样的传统ETL和ELT解决方案能够使公司将数据吸收到他们的数据仓库中进行转换和建模, 反向ETL的作用正好相反:它使公司能够将转换后的数据从云数据仓库转移到运营业务工具. 这是一种让数据变得可操作的新方法,通过授权业务团队在他们每天使用的SaaS工具中直接访问和处理转换后的数据,从而解决分析中的“最后一英里”问题.

反向ETL管道可以自定义构建, 但就像许多数据工程挑战一样, 它们需要大量的资源进行设计, 构建, 和维护. 反向ETL工具使得拥有较少数据工程资源的团队可以只使用sql来设计和构建管道——不需要第三方api或定制脚本. 

同时, 反向ETL加强了数据仓库作为真相来源的作用,同时通过将数据从仪表板和报告中引入到销售工具中来实现数据的民主化访问, 市场营销, 客户成功团队已经在使用. 

图片由Hightouch提供.

反向ETL增强了操作分析能力

通过民主化获取数据,让数据更容易获取, 反向ETL正在推动一种新的范式,称为 运营分析-将数据团队的见解反馈到业务团队的日常工作流程中,从而使他们能够做出更多基于数据的决策. 反向ETL通过确保数据在下游SaaS工具中是可访问的和可操作的,来“操作”支持BI工具中报告的相同数据.

运营和分析团队越来越多地利用这种新方法,将转换后的数据从云数据仓库输送到crm(如Salesforce)中。, 营销自动化工具, 广告平台, 客户支持和票务系统, 和, 当然, 松弛. 这使得被收集和存储在仓库中的大量客户数据更容易被分析师和商业智能团队访问, 同时确保数据工程师在交付可访问性时能够覆盖他们的基础, 向利益相关者提供可操作的数据. 

当然, 随着越来越多的数据被生成(并变得可操作), 这就引出了一个关键的问题:公司能信任他们的数据吗?

数据停机的风险

每当公司增加他们的数据收集和使用,风险 数据停机时间数据丢失、不准确或其他错误的情况也会增加. 和破碎的管道, 延迟ingestors, 当直接的客户体验受到影响时,下游的影响都变得更加紧迫. 考虑可能的情况:

  • 如果过时的数据正在为客户支持通信供电, 团队可能会在客户生命周期的敏感时刻发送不相关的消息. 
  • 如果驱动销售序列的数据(如免费试用的完成)丢失或延迟, 那么及时的信息将不会被发送,机会可能会被错过
  • 如果向你的广告平台发送客户数据的渠道中断了, 广告支出可能很快偏离轨道,导致收入损失或更高的用户获取成本

除了数据质量差的具体业务影响之外, 如果定期停机,内部团队可能会对数据失去信任. 对于那些致力于建立数据驱动文化的公司来说, 这种信任是一种珍贵但不稳定的商品. 

这就是为什么投资反向ETL的公司不应该跳过最后一层 现代数据堆栈:数据可观测性. 

什么是数据可观察性?

数据可观测性 将DevOps的原理和应用的可观察性应用到数据中, 使用监控和警报来检测以下支柱的数据质量问题:

图片由蒙特卡罗提供.
  • 新鲜: 数据是最近的吗? 它最后一次生成是什么时候? 包含/省略了哪些上游数据?
  • 地理分布: 数据是否在可接受的范围内? 它的格式是否正确和完整?
  • 体积: 所有预期的数据都到达了吗?
  • 模式: 什么是图式,它是如何改变的? 谁做出了这些改变,原因是什么?
  • 血统: 给定资产对上游资源和下游资产的影响是什么? 谁是生成这些数据的人,谁依赖这些数据做决策?

简单地说, 数据可观察性帮助数据团队确保他们的管道和资产是准确和值得信任的. 通过监视和警报 可观察性数据平台 帮助确保当事件发生时, 负责的数据团队将是第一个知道的,并且可以与业务团队进行干预,以防止不可靠数据的下游影响.

反向ETL和数据可观察性如何一起工作,以交付可信的数据和保护数据工程资源

用于过度工作的数据工程团队, 反向ETL和数据可观察性通过民主化数据访问节省了宝贵的时间和资源,同时确保了可靠性,并提供了对数据如何和何时使用的可见性.

反向ETL 产品为开发人员提供了更改日志和实时调试器,以增强对操作数据流的可见性. 此外,数据可观测性的自动化沿继,以及在整个数据生命周期中对数据资产和管道的端到端监控, 这两种工具都增加了对数据如何在整个组织中访问和交互的可见性和理解. 

一个实时调试器,突出显示与每一行同步数据相关的API调用. 图片由Hightouch提供.

你的数据工具不应该是一个黑盒, 这就是为什么领先的反向ETL工具提供了一个实时调试器来理解他们代表你做的更改和API调用. 与反向ETL, 业务团队可以在他们喜欢的工具中直接访问数据, 根据客户的洞察力和事件迅速行动,设计自动化数据驱动流程的工作流程. 反向ETL工具充当数据和业务团队之间的粘合剂:数据团队拥有数据模型, 然后业务团队可以使用ui,就像一个指向和点击的受众生成器,在他们的工具中定义他们需要的数据,而不需要知道SQL. 这将数据工程师从一次性任务中解放出来,同时使业务团队能够自行处理他们的数据.  

反向ETL解决方案允许营销人员在不使用SQL的情况下可视化地过滤数据模型. 图片由Hightouch提供.

以及数据可观察性, 这些团队可以相信,驱动他们客户体验的数据是可靠的, 准确的, 和最新的. 使用自动, 对整个堆栈的端到端覆盖, 数据可观察性是对传统测试的补充,它通过在数据运行状况的五个关键支柱(新鲜度)的管道的每个阶段监视和警报数据问题, 分布, 体积, 模式, 与血统. 

现代数据可观察性工具甚至可以实时帮助您解决数据问题的根本原因, 才能通过集中所有上下文来影响BI仪表板和SaaS解决方案中的业务用户, 历史, 并将关键数据资产的统计信息放在一个统一的平台上. 

数据可观察性给数据团队一个整体, 它们的数据管道的运行状况和可靠性的端到端视图. 图片由蒙特卡罗提供.

例如,数据停机的一个常见原因是新鲜度- i.e. 当数据异常过时时. 这样的事件可能是由许多原因造成的, 包括一份排着队的工作, 一段时间了, 没有及时交付数据集的合作伙伴, 一个错误, 或者意外的日程安排改变,从你的DAG中删除了作业.

通过获取数据资产的历史快照, 数据可观察性为您提供了识别“为什么”所必需的方法?,即使问题本身与数据本身无关. 此外,许多数据可观察性解决方案提供的沿袭给跨职能团队(i.e.、数据工程师、数据分析师、分析工程师、数据科学家等.)协作的能力,在数据问题成为更大的业务问题之前解决它们.

字段级沿河提供了数据管道破裂的方式、原因和地点. 图片由蒙特卡罗提供.

而反向ETL和数据可观察性都不能将你从 所有 清晨,你的利益相关者向你抛出了ping信号, 采取积极的, 数据访问和信任的端到端方法当然可以帮助您导航数据旅程的“最后一英里”——有或没有完美的播放列表. 

想知道反向ETL和数据可观察性如何解锁您公司数据的潜力? 尝试 高触摸直接免费,或者安排一个演示 蒙特卡罗 今天!