400 050 6600
数据分析师

手机号

验证码

30天自动登录
当前位置:首页 - Q&A问答

Q&AQ&A问答

大数据还是小数据?正确的答案是两者

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-06-17

处理和分析大数据的挑战已导致计算机科学在并行处理和机器学习等多个领域取得进步

它已在数据中心设计,存储容量和通信带宽等领域突破了我们的极限,尽管在大数据方面仍存在重要的研究问题,但仅通过添加更多数据即可发现一些改进,但是对于大多数公司而言,大数据是不切实际的,太昂贵或难以掌握,中小型企业缺乏用于此类工作的预算,其目标与大公司的需求不同,相反他们依靠小数据。

 

小数据可以地概括为任何足以供人类理解,访问,解释和使用以采取特定行动的数据

在简单的形式中,驱动是或否决定的单个位被视为小数据,大数据通常被分割成无数个较小的,连贯的,专用的数据集,其常见的目的是生成小数据,这对于手头的任务通常更为有效,1它可用,精确且完整,同时提供对人员,小组和社区的宝贵见解。它描述了每个人在正确的环境中并常常导致创新,从而为大数据无法完全匹配的小数据增加了一定的价值。

 

仅凭大小描述符来权衡数据决策是不够的。必须考虑其他事项:

1、什么是范围中的数据?它与眼前的问题有多详尽?

2、数据的分辨率和身份如何?它的粒度如何?如何识别每个项目?

3、数据之间的关系如何?通过编码或公共字段合并不同的数据集有多容易?

4、有弹性吗?扩展数据,添加新字段或扩展规模有多容易?

5、您是否将隐私作为与大多数人相关的突出维度?

 

为了真正从大数据中受益,我们还必须探索小数据的局限性

企业必须确定所需的数据量,并找到化现有资源的方法,进一步深入研究有关隐私问题的细节,确定数据偏见并与其他结果进行比较,拥有更少的数据并不会减少分析的难度,计算可能会更简单,但是在大多数情况下,由于缺少训练数据并且不愿意承担获取成本,因此无法使用监督深度学习。

 

数据也是动态的;出现新问题,例如偏差检测和校正或量化误差和不确定性

重要的是,这些相互依存关系中的每一个都有其自己的权衡,而这些权衡往往未被研究,如果我们认为目标数据在大多数情况下是个人数据,并且生活在小型便携式设备中,那么我们必须在计算能力、内存、通信和能源有限的设备中保护隐私和/或解决问题。

 

 

Prev article

大数据如何改变网络基础架构?

Next article

如何消除AI创造的技能差距

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务