使用数据块和机器学习构建

NEWS前沿动态

使用数据块和机器学习构建

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-08-27

机器学习已经到来，并且正在整个行业和我们支持的垂直行业产生巨大影响

我一直在围绕图形和机器学习的集成展开的对话-如果可能的话，以图形为基础的更好的ML技术，而不仅仅是大量数据。这里还有很多工作要做，但是现在图AI是未来有前途的候选人，我认为从长远来看，它将会取胜，将图与ML结合起来吸引人的地方是，仅通过将数据连接到其他数据就可以从中推断出很多东西。

需要做的一件事是执行数据保护，维护和管理任务，以减慢其开发和部署应用程序的能力

这是选择工具集和平台的关键所在，开发人员希望从某种可以帮助他们加快创新速度的事情开始，他们希望减少障碍，并弄清楚如何加快软件交付流程。

当涉及到用于机器学习（ML）应用程序的数据时，通常数据库系统只是不削减数据

您需要更大的东西，例如数据仓库或数据湖。还有一类新兴的专业AI和大数据平台正在开发平台和数据仓库之间进行宣传，数据和AI的统一平台，提供大规模数据处理，分析，数据科学和其他服务，公司专门从事大规模数据处理，但是其方法的真正关键是数据湖理论，数据湖是以各种格式存储的原始数据的存储库，从电子邮件和PDF等非结构化数据到关系数据库中的结构化数据，应有尽有，数据仓库概念的现代变体，关键区别在于：数据湖旨在处理互联网及其大量的非结构化数据。

虽然通常被称为架构，但数据湖从未真正超出营销概念而成熟

基本上为您提供了在数据湖之上的数据仓库的类似功能，提供这种优化的格式，优化的查询引擎，以及针对各种用例和应用程序查询该数据的事务保证，从数据准备到模型训练和部署，大规模地简化了ML开发，在软件中，您编写代码，编写单元测试，并且每次运行时其行为都相同。在机器学习中，您编写代码，并且存在这种数据依赖性。每次训练机器学习模型时，它的行为都会有所不同，因为它固有地是随机的并且数据会发生变化。[所以]它没有确定性。

机器学习是10年前的数据工程领域

就像十年前，如果您要求某人编写一个程序来处理TB级数据，那将是一件大事-地球上只有少数人可以做到这一点，但是ML仍处于尴尬的阶段，需要大量的手工工作，并且需要专业知识，大多数情况下，当我们今天建立机器学习模型时，这是一次性的，这就像缝合在一起的东西，也许它起作用了，他们可以把它拿到生产线上，然后就完成了，但它不可维护且不可重复。

就像过渡数据工程经历过的一样，ML必须变得对更多人更容易访问

为此工具需要变得更易于使用，任何可以编写SQL查询的人都可以进行机器学习。

CPDA企业内训

https://www.cpda.cn/trainning/

cpda项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html