公司在对数据和管理数据的人的思考上更加精深。“数据不再是副产品,而是一个公司运作的核心”。
对机器学习愈加倚重。由于机器学习的进步,对专有数据的掌握逐渐成为各个领域的公司最重要的竞争优势。
公司开始建造数据产品。“以地图为例,机器学习主要作用于交通路线的侦测与规划,而地图的基础建设则在于管理和组织大规模的数据,这就是数据工程。”
2、数据工程师的数量随时间的变化
LinkedIn 的简历显示了一个人声明的自己的职业发展历史,包括了在各个时间段内的职务。这些数据让我可以构建出某个职务的不断演变。
下图就展示了”数据工程师“这个职务的飞速发展:
【图表】累计数据工程师的数量(单位:千)
▲数据工程师的数量从 2013 年到 2015 年增长超过了一倍。而且基于上文中相关岗位需求的数据,该增长趋势并不会减慢。
相比之下,数据科学家的数量大约是数据工程师的两倍(大约 11,400 人),但是数据工程师的增长速度却要更高:在同一时期,数据科学家数量“仅”增长了 50%。
3、数据工程师从哪里来
数据工程师的疯狂增长让人产生了一个疑问:这些人从哪里来?他们之前是什么职业?
我们通过观察数据,调查了数据工程师这一职业的 DNA —— 他们之前的职业。
在我们的调查前有以下几个猜测:
数据工程师是软件工程师和数据科学家之间的桥梁:他们编写了生产代码来方便数据科学家们进行大规模的运算实验。因此,我们猜测有很大一部分数据工程师的前身是软件工程师或数据科学家;
因为数据工程师很大部分的工作都围绕着运算的规模,他们同时也是软件工程师和运维开发 ( Devops ) 的桥梁。因此我们猜测一部分人由运维开发转来;
数据库管理员曾在一个企业中扮演类似的角色。因而,不难假设一部分数据库管理员投身到这一更加先进的职业中。
结果显示,我们的猜测部分是正确的,有一点是非常明确的:数据工程师的 DNA 和软件工程师最接近 。
【图表 :TOP 10 数据工程师的来源】
▲数据工程师前职调查,最多依次为软件工程师、分析师、咨询师、商业分析师、数据架构师、数据分析师、数据库管理员、数据科学家、实习生、研究助理等