干净的数据是有效机器学习的基础

NEWS前沿动态

干净的数据是有效机器学习的基础

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2020-08-26

公司将机器学习发现的隐藏细分市场扩大了一倍，从而使收入增加了10％

我们可以将AI应用于我们的产品线并获得类似的结果吗？组建数据科学团队时主要考虑了这种情况。为他们提供了业务用例和问题陈述，并有望为他们带来出色的成果，增加收入并降低公司成本但是现实是，数据工程师和科学家经常花费数周，有时甚至是数月，试图清理，整理和理解由客户的商务智能团队移交给他们的数据。

我们每月向该云提供商支付一定的费用用于存储数据

我们是否可以对这些闲置数据进行某种AI或机器学习，从而赢得董事会并提升PR？数据科学团队表现不佳的原因多种多样，但是经过充分研究的研究和思想文章认为，脏数据不仅会影响机器学习的结果，而且还会对脏数据的性能以及数据科学团队的性能产生重要影响，简而言之，在对数据集应用任何算法或技术之前，在数据集中具有质量和一致性至关重要。

典型的机器学习流程

既然我们已经确定大部分工作时间都花在了数据清理上，那么让我们看一下它在整个机器学习流程中的适合位置，从较高的角度来看，机器学习会在以下或多或少的顺序步骤中发生（不考虑反馈循环）：1、源发现 2、数据准备与隔离 3、特征提取 4、造型 5、模型训练与调整 6、预测 7、模型部署将主要是数据准备和隔离。

错误数据集的特征

所有好的数据集都是相同的；每个不良数据集都有其自身的不良特征，这意味着无论数据集还是用例，总会有一个数据清理步骤，没有任何自动化或边缘案例分析可以解决这一问题（也许有对高度不干净和肮脏的数据进行了训练的ML模型可以解决此问题），使数据集“不干净”的常见数据。这些错误的原因通常是由于数据生命周期中某些时候的人为错误造成的，但是，有些错误也可以由机器生成。

架构不一致想象一下，您在一个足球协会的数据团队中，该协会已要求该国所有足球俱乐部发送球队中球员的详细信息

俱乐部指南是将个人详细信息发送到csv文件中（没有时间构建Web界面或API）。现在，有些俱乐部正按预期在文件中创建了列标题（名称，年龄，出生地等）。但是，有些俱乐部的名称有所不同，错过了一列，或添加了一些新列（姓氏列和姓氏列）。因此，作为足球协会的一部分，您将花费额外的时间来将数据协调为通用模式。

缺失数据

由于只是缺失的值，因此调试起来非常简单。科学家通过添加默认值或基于某些假设来计算值来清理此问题。下游ML模型中丢失数据的影响可能很大。如果不加以检查，则可能导致过度拟合和训练不足的ML模型。

进行数据清理

清理数据规模所需的工作随数据集的广度和深度而定，我想带您回顾一下一个场景，在该场景中，我反复训练了多轮数据清理工作，同时训练了一个简单的ML模型，目的是建立一个自动语音识别系统，该系统可以识别0到9之间的语音数字。

实现模型涉及三个步骤：

1、收集数据集并创建训练和测试集

2、在训练数据集上训练模型

3、根据测试数据集的预测测试模型准确性

文本文件的修补程序列表将其作为可选文件，我们犯了一个错误

我们不应该要求这个，相反正确的方法是根据音频文件的名称生成此文件，我们为参与者提供了一个选择，这样他们在录制音频时会非常严格，你说的就是你的文件，但是到那时，我们从一半的参与者那里收到了文本文件，对于发送文件的后半部分，格式方面存在一些挑战。

资料准备清理数据集后，我们必须执行另一个数据准备步骤，以使数据集可用于机器学习

这一步并不像清理数据集那样痛苦，但是在机器学习开始之前，这又是另一个障碍，这些文件都可以使用音频文件和文本文件提供的信息生成，我们花了的时间编写Python脚本来生成这些文件，完成此操作后，我们花了整整两天的时间来运行ML算法自定义，模型调整并将其部署到云中。