数据工程师的崛起

NEWS前沿动态

数据工程师的崛起

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-09-10

让我们回顾到目前为止的发展

在云时代来临之前，事情就更简单了：要求工程师管理生产流程，并担心软件本身的规模，当时之所以有意义，是因为没有能够将软件逻辑与计算资源分离的框架，软件非常离散地与预定义的离散硬件计算资源绑定在一起，但是今天，在云计算和弹性计算资源的时代，我们将工程师分为更专业的团队，以利用这些弹性计算平台构建软件解决方案，产品和服务：

后端工程师 –通常负责构建软件背后的逻辑

有时，根据特定的应用程序，该团队的一部分将包括算法专家。这将在构建逻辑（尤其是构建可扩展的逻辑）需要的不仅仅是“工程”或简单的“如果那么那么那么”逻辑的项目中发生。对这种专业知识的需求是基于不断增长的复杂性和软件需求以及支持该计算能力的计算能力的急剧增长而自然发展的结果。

前端工程师 –构建顶层应用程序层和用户界面

建立一个引人入胜，合乎逻辑且适应性强的人机界面确实需要相当多的技能，并且是开发过程的重要方面，就是说，我认为，由于浏览器界面的局限性为简化，高效的应用程序开发和生产带来了重大障碍，因此该领域仍在等待着巨大的破坏和范例的改变，负责将软件小程序（代码容器）扩展到弹性云上进行部署，以便它可以轻松地满足预期的用户数量，并优雅地处理所需的负载，工程师对他们需要支持的软件的实际逻辑并不了解或需要了解很多。

人工智能对我们刚刚讨论过的角色的组织结构提出了挑战

而这一变化是由一个核心因素驱动的：数据在开发引擎中的关键作用，机器学习及其更“大脑”的表亲“深度学习”都是利用诸如神经网络之类的算法的学科，而神经网络又受到大量数据源的滋养，以创建和完善核心应用程序的逻辑。当然，在深度学习中，该方法试图模仿人脑如何通过经验和感官从其收集的数据中学习，从而走得更远。实际上，这两种技术终都会创建自己的逻辑路径来完成给定的任务，并且以此取代我们所知道的后端工程师的工作。

那么谁来管理这个新流程呢？

简单的答案是，我们求助于数据科学家，其工作是选择正确的初始算法，然后对其进行训练，测试和调优（以及调优，调优和调优……），以优化算法以终完成其“吐出“软件的核心应用程序逻辑。他或她的培训工作或实验会将特定的模型（或神经网络）与特定的数据集和一组执行参数结合在一起。

如果真那么容易就好了; 确实，这还不是故事的结局

企业已经意识到仅仅雇佣一些优秀的数据科学家是不够的，我们发现的是，我们还缺少一个难题：有人专门专注于数据科学家的算法需要仔细研究的原材料的选择，优化和管理，然后将实验过程扩展到测试所需的潜在配置，这称为构建数据管道，这不是在此过程的后面插入到已在部署中启动并运行的系统中的任务，从天开始，就需要相关，可用，可销售的数据管道。

这不是一个简单的任务与人脑不同，机器/深度学习算法在使用数据之前对标签进行标记或分类需要大量帮助

还有很多算法配置参数需要调整。尽管具有所有的发展，但它们仍然是仅用于解决特定问题的非常简单的模型，即在面对意外情况时不会真正“思考”自己或表现出真正的人性判断。有人需要帮助算法“解决”边缘情况和数据偏差。没有它，该软件就无法像人脑“自动”适应异常值和意外情况。

为了有效地创建机器/深度学习解决方案

组织现在需要从一开始就利用大量针对任务优化的专用硬件（当前，其中绝大部分由GPU处理），从一开始，利用组织的云/弹性计算资源就已经成为开发过程中的问题，而不仅仅是在部署过程中需要解决的问题，所有这些都是寻找所有者的挑战，精明的组织正在查看其组织结构图以发现此任务的所有者不一定在那里。当然这不是后端工程师的工作，因为这与开发应用程序逻辑无关。

基础数据源或连接所有组件所需的管道

其中的核心任务是根据需要复制在许多情况下，核心软件并保持高可用性，这里的核心任务是既复制大培训工作之一，也并行运行多个正在进行的，完全不同的培训和实验工作，以实现高效，及时的开发过程。

终于在引入数据科学家之后，我们进入了以AI开发为核心的组织变革的第二阶段

输入数据工程师，这类新兴的工程师（通常称为数据工程师，有时在业界试图用一个术语来称呼它的时候也叫其他名字）的任务是建立数据管道和扩展机制，以利用弹性计算资源处理AI工作负载。他们的工作是为数据科学家提供基于云或本地的数据和基础架构，以便他们的算法可以有效地访问和运行他们的实验，以构建终的部署模型。

数据工程师一方面需要处理数据管理

另一方面需要处理类似的任务，这些任务需要配置特定的硬件以随软件进行扩展，并且需要编排许多每个软件应用程序执行不同（但相关）的任务，已经认识到这种需求的组织现在正通过将数据工程师引入流程中来迅速改组其AI团队；这项调整为他们提供了明显的优势，使其仍比那些仍在苦苦挣扎且未能迫使其数据科学团队在现有IT，组织结构中有效运作的竞争更具优势。

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？

https://www.chinacpda.com/wenti/11706.html