当前位置 > CPDA数据分析师 > “数”业专攻 > 数据分析师常用工具有哪些?初学者必看

数据分析师常用工具有哪些?初学者必看

来源:数据分析师 CPDA | 时间:2018-01-10 | 作者:admin

我给你一份数据分析师常用工具指南,按照这份指南,小白也能成为数据分析高手!

这是一份入门到熟练的工具指南,并不包含数据挖掘等高阶内容。

Step1:Excel学习掌握

所用的工具正是职场中最常用的Excel!

①重点函数学习

重点是了解各种函数:Vlookup、sum,count,sumif,countif,find,if,left/right,时间日期函数、文本函数

②数据透视表学习

我曾说过,如果Excel只能学习一个功能,那唯一能入选的就是数据透视表。

掌握vlookup和数据透视表是最具性价比的两个技巧。学会vlookup,SQL中的join,Python中的merge很容易理解。学会数据透视表,SQL中的group,Python中的pivot_table也是同理。

这两个搞定,基本10万条以内的数据统计没啥难度,80%的办公室白领都能秒杀。

Step2:数据可视化

所用工具:PowerBi、Excel

数据分析界有一句经典名言,字不如表,表不如图。

数据可视化是数据分析的主要方向之一。首先要了解常用的图表:

数据分析师常用工具

Excel的图表可以100%完成上面的图形要求,但这只是基础。后续的进阶可视化,势必要用到编程绘制。为什么?比如常见的多元分析,你能用Excel很轻松的完成?但是在IPython只需要一行代码。

数据分析师常用工具

 

其次掌握BI,下图是微软的BI。

数据分析师常用工具

BI(商业智能)和图表的区别在于BI擅长交互和报表,更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。

BI的好处在于很大程度解放数据分析师的工作,推动全部门的数据意识,另外降低其他部门的数据需求(万恶的导数据)。

BI市面上的产品很多,基本都是建立仪表盘Dashboard,通过维度的联动和钻取,获得可视化的分析。最后需要学习可视化和信息图的制作。

Power BI相较于其它数据分析工具来说一个最大的强项就是可以与Excel以及百种数据源无缝对接。

另外,它还有一个最大的优势,就是它的桌面版是永久免费,这对于数据分析师个人和企业来说,都是一个节约成本,而且性价比较高的工具。

(关于这款工具的更多功能和学习介绍,可以详见另一篇文章《8小时,用Power BI成为数据分析高手》)

数据分析师常用工具

Step3:数据库学习

所用工具:SQL

Excel对十万条以内的数据处理起来没有问题,但是互联网行业就是不缺数据。但凡产品有一点规模,数据都是百万起。这时候就需要学习数据库。

越来越多的产品和运营岗位,会在招聘条件中,将会SQL作为优先的加分项。

SQL是数据分析的核心技能之一,从Excel到SQL绝对是数据处理效率的一大进步。

学习围绕Select展开。增删改、约束、索引、数据库范式均可以跳过。主要了解where,group by,order by,having,like,count,sum,min,max,distinct,if,join,left join,limit,and和or的逻辑,时间转换函数等。如果想要跟进一步,可以学习row_number,substr,convert,contact等。另外不同数据平台的函数会有差异,例如Presto和phpMyAdmin。再有点追求,就去了解Explain优化,了解SQL的工作原理,了解数据类型,了解IO。以后就可以和技术研发们谈笑风生,毕竟将“这里有bug”的说话,换成“这块的数据死锁了”,逼格大大的不同。SQL的学习主要是多练,网上寻找相关的练习题,刷一遍就差不多了。

好了,经过这三步之后,你已经具备数据分析基本功力,剩下的需要训练的就是你的思维和实际的业务分析能力了。

鉴于你是传统会计专业出身,那就需要考虑目前你是需要往哪方面发展,一般数据分析师职业规划有单纯的数据分析岗、数据建模岗。

下面我们就说说一般数据分析师常用的工具有哪些?

1、数据处理工具:Excel

数据分析师,在有些公司也会有数据产品经理、数据挖掘工程师等等。他们最初级最主要的工具就是Excel。有些公司也会涉及到像Visio,Xmind、PPT等设计图标数据分析方面的高级技巧。数据分析师是一个需要拥有较强综合能力的岗位,因此,在有些互联网公司仍然需要数据透视表演练、Vision跨职能流程图演练、Xmind项目计划导图演练、PPT高级动画技巧等。

在Excel,需要重点了解数据处理的重要技巧及函数的应用,特别是数据清理技术的应用。这项运用能对数据去伪存真,掌握数据主动权,全面掌控数据;Excel数据透视表的应用重在挖掘隐藏的数据价值,轻松整合海量数据:各种图表类型的制作技巧及Power Query、Power Pivot的应用可展现数据可视化效果,让数据说话。因此想从事数据分析岗位的,需要快速掌握快各种Excel数据处理与分析技巧。

2、数据库:MySQL

Excel如果能够玩的很转,能胜任一部分数据量不是很大的公司。但是基于Excel处理数据能力有限,如果想胜任中型的互联网公司中数据分析岗位还是比较困难。因此需要学会数据库技术,一般Mysql。你需要了解MySQL管理工具的使用以及数据库的基本操作;数据表的基本操作、MySQL的数据类型和运算符、MySQL函数、查询语句、存储过程与函数、触发程序以及视图等。比较高阶的需要学习MySQL的备份和恢复;熟悉完整的MySQL数据系统开发流程。

3、数据可视化:Tableau & Echarts

如果说前面2条是数据处理的技术,那么在如今“颜值为王”的现在,如何将数据展现得更好看,让别人更愿意看,这也是一个技术活。好比公司领导让你对某一个项目得研究成果做汇报,那么你不可能给他看单纯的数据一样,你需要让数据更直观,甚至更美观

如何理解数据可视化?像我们以前上学的时候学过的柱状图,饼状图,也是数据可视化的一种。只是在现在,简单的柱状图已经不能满足工作所需。目前比较流行的商业数据可视化工具是Tableau & Echarts。

Echarts是开源的,代码可以自己改,种类也非常丰富,这里不多做介绍,可以去创建一个工作区了解下。

4、大数据分析:SPSS & Python& HiveSQL 等

如果说Excel是“轻数据处理工具”,Mysql是“中型数据处理工具”那么,大数据分析,涉及的面就非常广泛,技术点涉及的也比较多。这也就是为什么目前互联网公司年薪百万重金难求大数据分析师的原因

大数据分析需要处理海量的数据,这对于数据分析师的工作能力要求就比较高,一般来说,大数据分析师需要会

(1)会使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。知道Hive如何在Hadoop生态系统进行数据分析工作。

(2)会一些SPSS modeler基础应用,这部分技能对应数据建模分析师

(3)何使用R语言进行数据集的创建和数据的管理等工作;会使用R语言数据可视化操作,让学员学会如何用R语言作图,如条形图、折线图和组合图等等;是R语言数据挖掘,本部分数据挖掘工程师

(4)用Python来编写网络爬虫程序,从页面中抓取数据的多种方法,提取缓存中的数据,使用多个线程和进程来进行并发抓取等

总结一下:

数据分析师常用工具

写在最后

1、自身定位很重要

以上所有介绍的这些技能,都是根据你的自身定位而言,如果你定位只是小企业的数据分析岗位,那你也许只要把Excel玩的很6就可以了。但是从长远来看,这部分工作岗位,终将会被大数据分析所取代。这也就是为什么之前所说互联网公司重金难求大数据分析师了。

2、终身学习很重要

为什么这么说,你会发现这个是时代的脚步越来越快了,你一不学习就很容易被时代淘汰,暂时把自己定位小型企业数据分析师的人,别忘了还是要去学习现在更流行的更有趋势的技术。自己的工作领域能跟互联网挂钩的尽量往上靠,毕竟这是大势所趋。

最最后

善用数据分析师常用工具,祝愿大家早日成为一名优秀的数据分析师!

 文章转载自网络