数据分析师使用的10种受欢迎的机器学习框架
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-01-15
对数据科学家的需求仍然很高
在接受调查的240位数据科学家中，有49％的人说他们每周至少要联系一次新工作，造成这种情况的部分原因是，越来越多的公司正在扩大数据的收集和使用，并且需要能够解析这些数据的专业人员来推动业务洞察力，并将其应用于机器学习和人工智能（AI）等新技术。
大约90％的数据科学家表示他们的某些工作为AI和机器学习项目提供了信息
近40％的人表示他们的大部分工作都是这样做的。但是，这并不意味着这项工作就没有挑战：约55％的受访者表示，培训数据的质量和数量是他们工作中的挑战，数据科学和机器学习仍然是一个相对较年轻的领域，因此对于哪种语言，工具和框架是好的尚未达成共识，根据该报告，虽然机器学习社区已开始使用Python（占61％），但使用的机器学习框架仍存在很大差异。
根据该报告，以下是数据科学家使用的十大机器学习框架：
大熊猫
脾气暴躁的
Scikit学习
Matplotlib
TensorFlow
凯拉斯
海生
火炬与火炬
AWS深度学习AMI
Google Cloud ML引擎
值得一提的是，许多流行的工具都是开源的，包括Pandas，Numpy，Scikit-learn，Matplotlib和Tensorflow，这表明该社区更喜欢开源的，社区驱动的软件。由于许多框架已经存在多年了，因此早期采用者很可能已经非常熟悉它们，而其他人则需要花费时间，精力和性能来使其脱离高层。
5种调整大数据存储策略的方法
您如何存储和管理公司数据决定了数据安全性，工作效率和访问权限，IT领域很少有人关注存储，如果您需要更多存储空间，只需订购它即可。毕竟，存储很便宜。现在，在云计算时代，您只需提供更多，但是采用商品化存储方法无法解决大数据带来的关键存储问题，如今非结构化大数据已占公司数据的80％，并且总体数据每两年在全球范围内翻一番，您如何存储和管理所有这些数据？参见以下五个想法。
1.计划去哪里
并非每天都使用所有非结构化数据。经常且连续地访问其他数据。当需要大文件的非结构化数据（例如视频和图像）时，需要更多的处理和吞吐量才能将它们提供给用户。因此，存储专业人员必须决定如何对这些数据进行分层。是否将其放置在快速访问的固态存储器中以使用户可以立即访问，还是放置在提供中等级别数据检索的中级介质（例如硬盘驱动器）中？也许应该将其存储在磁带或速度非常慢的硬盘驱动器上（称为冷存储，仅用于很少访问的数据），或者根本不存储？在存储自动化技术的帮助下，存储专业人员必须考虑并做出此类决策。
2.决定留下来什么去
重要的是要问：什么大数据留在企业内部，什么大数据留在云中？并且，如果出于分析目的需要汇总这些数据，您如何协调所有这些数据源之间的安全数据集成和传输？存储专业人员需要以多种方式参与其中，首先他们需要设计一种既在内部又在云中的存储架构，在这样做时它们必须考虑数据访问的频率，以及是否访问云会引入过多的延迟，从而使高要求的数据传输变得不切实际。
3.选择您的数据
公司会保留所有大数据负载，因为它们担心监管压力或要求进行未来的电子发现，法律，安全或其他用户部门的人员通常会做出这些决定，但是存储经理仍然有责任编排存储架构来满足这些要求，同时还需要决定丢弃哪些数据以及何时丢弃。
4.灾难恢复计划
灾难恢复已不再是过去，如今您不仅担心数据中心中管理的系统和数据，还担心云中发生的事情，例如如果您使用的是SaaS（软件即服务）供应商，如果该供应商将其云服务分包给另一供应商怎么办？如果您存储在第三方数据中心的数据出了点问题，您将怎么办，因为您的杠杆作用不大？还存在在企业边缘收集大数据的问题，如果您要管理远程站点以及数据中心的存储，请执行安全性，备份和故障转移过程。
5.与安全合作
在接受调查的240位数据科学家中，有49％的人说他们每周至少要联系一次新工作，造成这种情况的部分原因是，越来越多的公司正在扩大数据的收集和使用，并且需要能够解析这些数据的专业人员来推动业务洞察力，并将其应用于机器学习和人工智能（AI）等新技术。
大约90％的数据科学家表示他们的某些工作为AI和机器学习项目提供了信息
近40％的人表示他们的大部分工作都是这样做的。但是，这并不意味着这项工作就没有挑战：约55％的受访者表示，培训数据的质量和数量是他们工作中的挑战，数据科学和机器学习仍然是一个相对较年轻的领域，因此对于哪种语言，工具和框架是好的尚未达成共识，根据该报告，虽然机器学习社区已开始使用Python（占61％），但使用的机器学习框架仍存在很大差异。
根据该报告，以下是数据科学家使用的十大机器学习框架：
大熊猫
脾气暴躁的
Scikit学习
Matplotlib
TensorFlow
凯拉斯
海生
火炬与火炬
AWS深度学习AMI
Google Cloud ML引擎
值得一提的是，许多流行的工具都是开源的，包括Pandas，Numpy，Scikit-learn，Matplotlib和Tensorflow，这表明该社区更喜欢开源的，社区驱动的软件。由于许多框架已经存在多年了，因此早期采用者很可能已经非常熟悉它们，而其他人则需要花费时间，精力和性能来使其脱离高层。
5种调整大数据存储策略的方法
您如何存储和管理公司数据决定了数据安全性，工作效率和访问权限，IT领域很少有人关注存储，如果您需要更多存储空间，只需订购它即可。毕竟，存储很便宜。现在，在云计算时代，您只需提供更多，但是采用商品化存储方法无法解决大数据带来的关键存储问题，如今非结构化大数据已占公司数据的80％，并且总体数据每两年在全球范围内翻一番，您如何存储和管理所有这些数据？参见以下五个想法。
1.计划去哪里
并非每天都使用所有非结构化数据。经常且连续地访问其他数据。当需要大文件的非结构化数据（例如视频和图像）时，需要更多的处理和吞吐量才能将它们提供给用户。因此，存储专业人员必须决定如何对这些数据进行分层。是否将其放置在快速访问的固态存储器中以使用户可以立即访问，还是放置在提供中等级别数据检索的中级介质（例如硬盘驱动器）中？也许应该将其存储在磁带或速度非常慢的硬盘驱动器上（称为冷存储，仅用于很少访问的数据），或者根本不存储？在存储自动化技术的帮助下，存储专业人员必须考虑并做出此类决策。
2.决定留下来什么去
重要的是要问：什么大数据留在企业内部，什么大数据留在云中？并且，如果出于分析目的需要汇总这些数据，您如何协调所有这些数据源之间的安全数据集成和传输？存储专业人员需要以多种方式参与其中，首先他们需要设计一种既在内部又在云中的存储架构，在这样做时它们必须考虑数据访问的频率，以及是否访问云会引入过多的延迟，从而使高要求的数据传输变得不切实际。
3.选择您的数据
公司会保留所有大数据负载，因为它们担心监管压力或要求进行未来的电子发现，法律，安全或其他用户部门的人员通常会做出这些决定，但是存储经理仍然有责任编排存储架构来满足这些要求，同时还需要决定丢弃哪些数据以及何时丢弃。
4.灾难恢复计划
灾难恢复已不再是过去，如今您不仅担心数据中心中管理的系统和数据，还担心云中发生的事情，例如如果您使用的是SaaS（软件即服务）供应商，如果该供应商将其云服务分包给另一供应商怎么办？如果您存储在第三方数据中心的数据出了点问题，您将怎么办，因为您的杠杆作用不大？还存在在企业边缘收集大数据的问题，如果您要管理远程站点以及数据中心的存储，请执行安全性，备份和故障转移过程。
5.与安全合作
当存储经理与安全经理协作以保护数据时，他们将从中受益，五年前这项工作比较容易，您只需在数据中心内部保护存储，现在需要与云供应商一起为远程数据制定适当的数据保护和存储策略及过程，而且如果您在车间或市场部门中收集了本地数据，则需要同时解决数据的虚拟安全性和存储硬件的物理安全性。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
