我们如何避免把大部分时间浪费在解决错误的大数据问题上?
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-06-15
到2020年全球数据量将增长到44 ZB,每天创建2.5EB的新数据
这等于每天从社交媒体,Web流量和其他来源创建的2.5亿字节的新数据。数据的爆炸转化为公司收集,存储和管理的数据量的大规模扩展,这引起了人们对大数据技术的更大兴趣,由于现在创建的数据量巨大,速度快且种类繁多,因此有充分的兴趣。大数据技术可以对您的业务产生巨大影响,尤其是从管理不断增长的数据量和创造业务价值的角度来看,但是与任何技术一样,在寻求部署大数据解决方案时需要谨慎行事,如果您不小心,可能会得到一个解决方案,该解决方案花费很多钱,并且没有做您需要的事情。
大数据技术无法解决您的所有问题
建立现代现代大数据技术是为了解决与非常大的数据集(在市场上被视为“大数据”)有关的特定问题,相关的解决方案功能非常强大,可以在您拥有此类数据量的地方显着简化操作,也就是说大数据技术仍然是专门为管理和从传统数据处理应用程序太大或太复杂的数据集中获取价值而构建的软件,这些是针对技术问题的技术解决方案。
大数据解决方案无法做到的一件事就是解决并非针对其设计的问题,例如组织问题
寻求“大数据技术”,您很有可能会发现许多愿意接受您业务的公司,但是要当心–如果您在开始购买大数据解决方案的过程时却不知道要实现什么目标,那么从长远来看,您可能会浪费时间和金钱,并发现自己陷入了技术栈中昂贵的组成部分中,提供商业价值。
从业务问题开始
这可能是旧的建议,但是如果您先定义要解决的问题,那么终结果会更好,对您的业务问题的明确定义会将任何技术搜索都集中在将首先解决您特定用例的解决方案上,在此过程中,您可能会获得其他效率但是理想情况下搜索的核心应该集中在要实现的特定目标上,如果您有很多非结构化数据,则可能会寻找一个数据湖,对于海量结构化数据,也许专用的数据仓库可以提供帮助。如果您需要混合大量以批处理和流式传输方式传输的结构化和非结构化数据,我是否可以建议使用数据中心?
从业务问题入手还包括争取组织中任何其他潜在利益相关者的帮助
如果您的公司像大多数公司一样,那么您的团队并不是一个在数据量方面苦苦挣扎的人。如果您要进行营销,请考虑将销售和服务放在桌子上,以讨论有关其数据麻烦的讨论。必须让IT团队参与进来,如果没有其他原因,他们可以告诉您该华而不实的解决方案是否可以与您的其他系统配合使用,如果您可以与可以从大数据解决方案中受益的各个利益相关者保持一致,那么您也可能有更充分的理由首先寻求一种新技术。愿意共享联合解决方案的多个部门往往比市场营销或要求新的部门特定技术的销售更容易销售。
通过预先定义您的业务需求即您要解决的实际问题是什么?
您可能还会发现问题不是技术的一种,而是过程的一种,在这种情况下,您可能终会发现效率,而由于过于注重部署新的闪亮技术,这些效率将无法实现,如果这是需要技术解决方案的问题,那么您也可以更清楚地定义解决方案的真正落点要求。
供应商不要误导您,他们声称他们的解决方案将解决您的所有问题
事实是如果您相信炒作,就很可能会在不完全了解需要解决的问题的情况下部署新技术,除了浪费时间和金钱,这是无处可去的,这是没人想要的。