让数据工程师喜欢为你工作的5种不明显的方法

“雇佣数据工程师是小菜一碟!谁也没有说.

有充分的理由.

虽然招募工程师从来都不是一件容易的事情,但数据工程师是一种全新的游戏. 尽管 的时机 数据工程专业的, 雇佣数据团队的骨干从来没有像现在这样具有挑战性. 

为什么? 在我看来,这可以归结为两个关键因素: 

  1. 供应不能满足需求. 数据生态系统正在快速发展,越来越多的公司在数据上押下重注. 这意味着数据团队要么正在培训现有的分析师和科学家来构建和扩展基础设施,要么 寻找外部 以填补这些关键角色. 不管你怎么切,它们都不够. 
  2. 很难找到合适的候选人. “数据工程师”这个头衔还不成熟,但数据工程的工作已经存在了很长时间. 数据科学家, 分析师, 数据库工程师, 数据架构师, 后端工程师一直在处理吞食问题, 转换, 测试, 基础设施工作需要 构建和扩展数据平台 for years; if you haven’t read Maxime Beauchemin’s 里程碑式的文章 对于这种现象,我强烈推荐它. 考虑到构成数据工程人心中的多样性背景, 很难找到合适的候选人, 更困难的是,求职者仅凭职位描述就决定自己是否适合你的团队. 

除了补偿, 在招聘优秀的数据工程师时,最重要的是加入你的公司是否会为他们的成功奠定基础, 无论是在他们的职业生涯还是在公司本身. 在一天结束时, 有竞争力的薪水和令人印象深刻的标识可能会让你的数据工程师进入公司, 但这并不意味着他们会留下来. 

以下是一些最优秀的数据工程领导者吸引和留住顶尖人才的5种非显而易见的方式:

衡量客户影响

我对传统工程职业阶梯最大的不满之一是,晋升过程往往倾向于大胆的人——而且并不总是向好的方向发展. 和,, 我的意思是, 高可见性的项目,而不是幕后或基础设施工作,后者同样重要,但通常比特性工程耗费更多的时间和资源, 尤其是当你在一个精简的团队中. 

类似的, 与分析学或数据科学工作相比,数据工程工作经常不被认可或低估. (如果你还没有读过这本书,我强烈建议你读读这本辛辣的书 Hacker News线程相应的文章 关于这个话题. 你可能知道我说的是哪一个…). 

作为一个数据工程的领导者,你如何克服这个障碍? 首先是对客户的影响. 甚至在你开始招聘之前, 确定映射数据工程工作及其对团队内部客户的影响的有形指标. 人们希望在自己的努力得到重视的地方工作, 在更广泛的数据团队的战略中,让利益相关者和领导围绕数据工程所扮演的角色进行协调是至关重要的. 

根据 哈维尔·皮雷约大数据平台工程总监 阿迪达斯, 与你的行政领导一起设定基准,不仅需要强大的远见,还需要一种方式,将数据平台和其他数据产品的影响与公司更大的技术和业务目标联系起来. 

这是一种衡量方法? 关于减少操作开销和减少数据产品的价值时间的度量. 

“最后, 如果您正在提供任何价值,并且您正在最小化分析团队和其他数据用户的运营开销, 量化数据工程对利益相关者和整个公司的价值是很容易的. 从那时起,你的团队的数据产品就会得到认可和采用.” 

关于追踪指标的其他建议: 

  • 你的数据工程师为公司节省了多少时间/金钱/资源? 
  • 他们的工作如何减少重要数据产品的时间价值? 
  • 他们的工作在哪些方面影响更大的工程或分析策略?

有了这些数据点, 你可以更好地向未来的雇员强调数据工程工作是如何被优先考虑的, 庆祝, 对公司的成功至关重要. 

他们可以和你的公司一起成长

像许多技术专业一样,数据工程正在快速发展. 新的工具和最佳实践不断出现, 而最优秀的工程师也会愿意花时间与最新的发展和技术保持同步. 和, 就像所有潜在的新员工一样, 数据工程师会想知道他们将如何与你的公司一起成长. 

现在, 数据工程师的责任是拥有越来越多的端到端数据转换工作流程, 从摄取到建模, 需要更广泛的空间理解和专业技能.

Ebunoluwa没问题的加拿大食品配送市场数据产品经理 SkipTheDishes (Just Eat Takeaway的一部分.com), 正在与数据产品和技术团队合作,领导她的团队迁移到去中心化的数据架构, 嵌入式从业者负责拥有从头到尾的整个数据工程工作流程.

“推荐一个正规滚球网站现在和未来聘用的任何数据工程师都需要能够完成接收数据的端到端过程,并创建数据模型,因为推荐一个正规滚球网站希望工程师能够理解数据的上下文, 不仅仅是‘哦,这看起来不对,但也, 在数据如何被使用以及谁在使用的上下文中,”她说. 

随着责任的增加, 重要的是,未来的雇员要知道他们的工作将被认可,并直接与更广泛的数据团队的底线kpi和成功指标联系在一起. 对于许多公司来说,情况并非如此. 毫无疑问,数据工程师经常被称为数据科学的“管道工”. 这无疑是一个重要的角色,但却没有得到足够的重视. 

Investing in career development isn’t just about writing blog articles 和 speaking at conferences; it’s about setting your direct reports up with a career they can grow into as the team scales. 

您的数据生态系统很容易导航

如今,企业将自己称为“数据驱动型”,这是cliché-和.“有经验的数据工程师很可能亲眼看到,一家公司可能会大谈数据, 但它并没有真正投入工作,教育员工如何使用数据产品,甚至没有授权员工自助访问数据. 

根本不知道去哪里找, 如何解释, 以及如何排除基本数据需求的故障, 内部数据使用者可能会因为一次性请求或最后一刻的请求而占用数据工程团队的大量时间. 虽然提供指导和监督治理通常是工作描述的一部分, 最优秀和最聪明的数据工程师会明白,一家公司是说到做到,而另一家公司则投资于数据素养,利用数据平台实现跨领域的上下文理解. 

佬司Meisingseth, 数据平台领先挪威公共道路, 建议建立一个强大的数据发现和问责文化,将帮助你的新数据工程师和分析师在开始工作后获得成功.

“推荐一个正规滚球网站正在开发和操作一种社会框架的使用,以辨别哪些数据集是重要的,哪些是不重要的, 在“谁在用这个”的各个方面? 它的使用频率是多少? 它被使用的频率是多少? 内部和外部的价值潜力是什么?”等. 确定哪些数据应该被优先化并在整个组织内共享,哪些数据可能被弃用. 这也会因域和业务用例的不同而不同, 而是利用面向领域的数据平台, 让团队自己做出这些判断会更容易.”

这也有助于培养一种重视数据的文化——当您的数据工程师工作在一个他们的贡献得到赞赏的环境中时, 他们更有可能对与团队其他成员一起成长感到满意和兴奋.

您投资于正确的工具

另一个常见的挑战? 使用遗留或过时的解决方案来尝试构建“现代数据栈”.” 

不要误会我. 你不必这样 Airbnb, 网飞公司, or 超级 to 搭建好数据平台 使用奇特的工具. 其核心, 数据平台就是所有数据的中央存储库, 处理集合, 清洗, 转换, 并应用数据来产生业务洞察力. 但这只有在您拥有适当的技术和流程来大规模实施它时才可能实现.

除了建立一个数据平台的商业案例(增加创新, 竞争优势, 分散的数据所有权, 扩展数据分析, 等.), 使用你的数据平台及其底层技术作为雇佣数据工程师的工具,这是一个很有说服力的理由. 

最近, 关于使用开源还是封闭源码解决方案有很多讨论(最近的对话是 雪花砖的 在建立你的数据栈的时候,营销团队真的会把这一点暴露出来). 在我看来,不管你站在哪一边,这两个都是开源的(Apache Spark、气流、dbt等).)和一流的SaaS解决方案(雪花、Redshift、Fivetran、Looker、Tableau等).)是你们公司极好的营销工具. 事实上,大多数数据工程团队投资于两者的结合.

在一天结束时, 你的从业者想要的工具和技能集将(1)与他们的职业生涯一起成长, (2)使他们的生活更轻松, (3)降低复杂性, 选择开源还是SaaS很少是二进制的. 选择新的解决方案或技术时, 对话应该总是寻求这样的答案:“这是适合我的工作/团队的合适工具吗?.“有时候这是开源的, 有时这是saas,这真的取决于你想要实现什么以及你愿意投资什么类型的资源.

他们有自主权

一个好的数据工程领导者会给他们的团队设计的代理权和影响力, 构建, 以他们感兴趣的方式扩展项目,并推动他们的技术和协作边界. 

经常, 这可以归结为确保他们对自己所做的工作感到拥有, 他们所做的工作将促进他们的职业发展,并增加他们在公司跨职能团队中的曝光度. 

乍得桑德森,产品主管,数据平台 车队, 注意,优秀的数据工程经理会给他们的团队成员提供不仅仅是他们感兴趣的工作, 但挑战他们, 太.

“如果你的数据工程师只是在运行管道, 那不是很有趣的工作,桑德森说:. “但如果他们正在构建支撑数据平台的系统和技术, 这更有说服力.”

鼓励自主,首先要建立一种信任团队的文化,相信他们有能力拥有并执行委派给他们的项目, 甚至在他们加入你的公司之前,也要问问他们想做什么. 通过保持沟通渠道畅通, 积极寻求反馈, 甚至在招聘过程中也鼓励讨论, 你可以为合作创造条件, 信任关系向前发展, 他们是否选择在你的公司工作.

数据世界很小. 你永远不知道什么时候你会遇到他们——见鬼,也许有一天他们会成为你的经理.  

他们感到挑战 

这就引出了我的下一个观点:如果工程师所负责的工作对他们没有挑战性,他们就不太可能加入你的团队, 无论是技术层面还是文化层面. 无论是推出一个关键的新功能, 领导一个RFC, 或者作为新工具实现的联络点, 重要的是要确保他们正在突破自己的职业界限.

这是确保你的工程师所从事的项目具有挑战性和挑战性的重要部分? 尽可能自动化机械或手工工作. 

DevOps和站点可靠性工程师之间有句老话:数据工程师的前辈可靠系统的目标是什么 减少手工劳动. 在数据工程的上下文中, 手工工作可能包括处理来自下游涉众的特别查询, 单元测试, 数据质量检查, 和文档. 所有这些活动,以及更多的活动,都可以通过正确的方法实现自动化. 

正如一家电子商务公司的数据工程主管告诉我的那样, 数据工程师整天不进入现场进行管道测试.

“工程师们不喜欢这项工作——他们进入这一领域最初可能并不是为了完成创新性的解决问题. 每周编写用例测试是很平常的,每次API改变.” 

特别是高级工程师或工作人员将发现自动化的巨大价值,因为它允许他们把时间和精力花在设计上, 建筑, 和创新, 而不是维护和排除现有系统的故障. 端到端数据沿袭, 数据可观测性, 数据发现 工具可以帮助您构建更可靠和容错的数据堆栈,同时减少手工测试和文档编写的工作量. 一些解决方案允许ml生成的可观察性和自定义规则设置, 根据你的需要. 

其他团队选择投资于自动化的数据摄取(i.e.比如Fivetran或Stitch)或增强分析. 只要能让你的数据工程师专注于那些对他们的职业生涯和职业成就有影响的事情,而不是那些平凡的、重复的事情. 

雇佣下一代的数据工程师

创造一个能够吸引最优秀、最聪明的数据工程师的工作环境,将使你在招聘方面拥有优势,并为未来几年的数据组织发展奠定基础. 

建立一个数据工程团队并不容易, 尤其是考虑到这个行业的发展速度之快, 但在我看来, 这就是为什么这段经历对经理和新员工都有好处.

我错过什么了吗? 请随时联系 Lior Gavish 或可以玩滚球的正规app团队的其他成员来分享你的见解、反馈和技巧.