投身大数据没有想象中的那么难

我们大多数人都知道一个樵夫的故事，他为一个木材商人工作。他的工资是根据他一天能砍多少棵树来计算的。第一天，他能砍20棵树。结果他很高兴，也更有动力了。第二天，他更加努力地工作，带着30棵树回来了。然而，他的成功是短暂的。一周后，他砍的树越来越少。“我一定是累坏了，”樵夫想。他决定去见他的老板，并为没有达到期望而道歉。当他的老板问他时，他大吃一惊。

“你上次磨斧子是什么时候?”

他回答说:“我一直忙着为你砍伐更多树木，却没有时间磨斧子。”

切换到现代世界:我相信我们很多人都能在一定程度上理解这个故事。非常清楚的是:斧头在今天的背景下需要不断升级，没有它就不可能进步，就好比技术。

如今，大多数公司都意识到各个领域的技术需求，并从中获益。我们以图书零售商为例，早些时候，商店里的传统书商可以很容易地根据所售书籍的数量来跟踪哪些书受欢迎，哪些书不受欢迎。如果有一个忠诚度计划，他们可以把其中的一些购买与个人客户联系起来，就是这样简单的搞定。

但是，一旦把重点放在网上购物上，在了解顾客方面就有了360度的转变。在电商零售中它不仅要追踪顾客买了什么，还能追踪顾客的浏览历史。甚至需要一种算法，可以预测某个特定的顾客接下来会喜欢读哪本书，而实体书店的书店却没有这种信息。

这就是大数据的作用所在。围绕大数据的炒作不仅仅是炒作。我们现在生活在一个大数据主导的世界，不管我们是否接受这个事实。全球每天翻倍的数据量是不可否认的。VMware的首席执行官Pat Gelsinger说得对:“数据是一门新的科学。大数据蕴含着答案。有效利用这些数据是问题的关键。

Facebook和Twitter等公司有效利用大数据已经有相当一段时间了。如今，各个领域的企业，无论是大型跨国公司还是初创企业，无论是社交媒体、医疗保健、金融还是航空公司，都在拥抱大数据浪潮，并在其中投入大量时间。这些升级和新举措的多米诺骨牌效应带来了职位名称和职位角色的大量变化。

但最大的问题是:专业人士是否准备好升级到最新的技术，迎接新的挑战?转向大数据势在必行，因为它几乎涉及我们生活的方方面面，无论我们是否意识到这一点。

对于软件测试专业人员来说，跳上Hadoop的潮流是否明智?确信，对许多人来说，答案是肯定的。测试专业人员的工作，包括消除错误和提高成品的质量。有时会变得单调乏味。在日复一日地做着同样的工作之后，他可能会觉得墨守成规。这正是他需要将自己的技能提升到大数据和Hadoop上的时候，他的机会领域也会随之打开。

即使是大数据专业人员的工作更涉及大量数据处理。而且，处理大量的非结构化数据不仅会变得单调乏味，还会耗费大量时间。例，参与了人口普查数据的处理，工作包括监控和收集调查问卷、检查、数据录入、存储、制表等。这个过程不仅耗费时间，而且代价高昂。Hadoop作为一个开源平台可能是他管理大量数据的最可行的选择。

那么数据仓库专业人员和处理大量数据的ETL开发人员呢?考虑到当今巨大的数据流，他们被这些数据深深吸引，以至于他们的工作仅限于处理数据流。但是通过升级到Hadoop，这些专业人员可以轻松地处理大量数据。另外，他们怎么能忘记数据管理领域的巨大机遇呢?

还有商业智能专业人士，他们的挑战在于存储大数据。例如，在一家广告公司，他会不断地需要分析问题的答案，例如:是什么驱使人们阅读某些内容?他们的形象是什么?我们如何吸引更多的人来一个地区?

无论是Java专业人员还是软件测试工程师或商业智能专业人员，都无法争论大数据技术正在成为一种常见的伴奏。因此需要超越并升级到大数据技术的挑战，免得变得像樵夫一样忙着砍伐树木而忘记磨斧子。