每周ETL:你如何记录你的数据资产?

在蒙特卡罗的每周ETL(通过Lior的解释)系列, Lior Gavish, 蒙特卡罗的联合创始人兼首席技术官, 他回答了Reddit上关于数据行业最热门话题的一个热门问题. 

Reddit的问题
可以找到Reddit线程 在这里.

Reddit的用户 _Niwubo 询问数据团队如何建立记录数据资产的解决方案.  作为一个从零开始建立编目计划的人, 我可以向你保证,这从来都不是无缝的,需要你整个组织的支持(如果你的公司不是数据驱动的,这可能很难).  

我建议你做的第一件事是评估是否有必要构建一个内部的数据编目解决方案或投资第三方供应商为你提供解决方案. 这些解决方案各有利弊. 我见过Airbnb这样的B2C公司, 网飞公司, Uber建立了自己的数据目录,以确保他们的特殊需求和堆栈得到支持. 然而, 您必须记住,这些组织要处理大量的数据,并拥有可用的工程资源来投资于构建和维护解决方案. 也, 请记住,通常定制的解决方案会导致有限的可见性和协作, 考虑到它们可能不能完全支持所有的用例. 

第三方供应商,如 Alation, Collibra, Informatica 提供具有广泛功能的数据编目解决方案. 如果您有很强的能力来实现项目,那么这些工具对于协作是非常好的. 然而,其中一个挑战(既适用于本地解决方案,也适用于供应商解决方案)是实际记录数据所需的投资数额. 您将花费大量的时间来引导组织生成支持这些解决方案并使其有价值的文档. 

对于那些有兴趣, 我的联合创始人巴尔最近写了一篇文章,更详细地讨论了为什么很多人 数据目录无法满足需求 关于现代数据栈,以及一个新的方法- 数据发现 -,以便更好地管理元数据和提高数据可靠性.

您的组织如何记录数据资产? 接触 Lior Gavish 有任何意见或建议.