【图表:LinkedIn 个人档案总结】
▲ 截止 2016 年 3 月 1 日,Linkedin 上的个人档案大约 4.3 亿,此次参考了 2.6 亿例档案,其中列有至少一项经历的近 1.9 亿, 有一项已认证经历的超过 1 亿,当前经历已认证的近 8000 多万。
在这些数据工程师中,我们分析了:
3 万项工作经验
8.2 万条个人经历
3400 个公司
分析工具:
分析采用 Python, SQL 和 Jupyter。
HighCharts 和 HighMaps 中的交互式可视化效果采用 Python 的制图包和 Python-highchairs 实现。
数据采用 AWS Redshift 进行存储和处理。
1、数据工程师有多少
“数据工程师”(所有以某种方式与数据打交道的软件工程师)的定义仍有很大的模糊性,目前并没有一个完美答案,我们觉得由这些从业者自己来解读是最好的方式。
我们发现在 Linkedin 上有 6500 人称自己是“数据工程师”。
6500,这个数目并不大。
实际上,我们有些惊讶“数据工程师”竟如此之少。而在写这篇报道的时候,Indeed 上有 6600 个 数据工程师的招聘启事,这还仅仅是在旧金山和湾区。
薪酬数据也证实了数据工程师很受欢迎。据说,在 Facebook, Amazon 和 Google 这样的巨头公司工作的顶级数据工程师工资超 50 万美金。Indeed 的数据分布更保守一些,尽管如此,薪资也达到了 6 位数。
【图表: 旧金山地区数据工程师的数量和薪酬比】
▲截止从上图可以看出,薪酬在 10 万美元以上的职位超过 80%, 其中 110k-120k, 120k-130k 和 130k+ 的职位都很多,均超过了 20%。数据工程师成为当下的黄金职业!
专家洞见
Jonathan Coveney,Stripe 数据工程师:“对数据工程师型人才的需求”。
近十年来,Jonathan 都在数据领域深耕,曾在 Twitter、Spotify 等公司建立数据系统。在他看来,有三种主要趋势在推动着对数据工程师类人才的需求: