来源：数据分析师 CPDA | 时间：2018-10-24 | 作者：admin
由独立研究机构Dimensional Research进行的研究报告对401位全球负责大数据的IT和数据专业人士进行了调查，这是一份针对大数据和机器学习计划的趋势，挑战和解决方案的年度全球调查。调查发现，企业内部环境中的大数据所带来的价值已远远落后于预期，因此，公司正在迅速转向云，以应对以机器学习（ML）和分析为中心的应用。
根据调查，73％的企业现在正在云计算中执行大数据处理，而2017年这一比例为58％。由于公司正在处理的数据量和数据不断增长，因此必须转向云计算。因为44％的组织现在报告使用超过100太字节的大型数据湖。
在这种向云的转变的推动下，机器学习计划有望在明年扩展到各种用例。大多数受访者表示，将数据安全和威胁防护作为其机器学习计划的首要任务，同时优化客户体验（49％）和预测性维护（43％）也是ML优先级列表中的重点。
Apache Spark和Presto在去年的大数据框架中也取得了令人瞩目的成就。31％的受访者现在报告使用Spark作为他们的框架，从2017年起增长了29％。在13％的公司使用中，Presto去年的用户群增长了63％。调查结果还表明，各组织正在转向本土方法，转而采用开源技术。
大数据的规模，多样性和应用正以近乎指数的速度加速，企业很快发现传统的数据管理系统和策略不再能够支持他们的需求，相反，新一代云原生自助服务平台已经成为数据项目成功的关键，特别是当公司希望通过新的人工智能，机器学习和分析计划扩展其业务时。
在实施大数据和机器学习项目时，数据团队继续面临许多挑战：
受访者表示缺乏减缓项目进度的经验（44％），努力跟上新数据源（42％）以及不断变化的用例问题（41％）是他们面临的最大挑战。
在机器学习方面，分析极大数据集（40％），确保足够的人员和资源（38％）并将新数据集成到现有管道（38％）被认为是机器学习项目的主要障碍。
人才短缺也是企业的主要问题：
79％的公司希望在明年增加他们的数据团队人数，但83％的公司也表示很难找到具备合适技能和经验的数据专业人员。
75％的受访者还表示，他们可获得的大数据的潜在价值与致力于提供这些数据的专用工具和人才之间存在相当大的差距。
大多数企业表示计划转向自助式分析模型，但目前很少有企业实施这一模式：
9％的受访者表示他们的业务已经支持自助服务分析。
61％的受访者表示他们计划转向自助式分析模式。
