十大数据科学工具和技术

大多数企业领导者都认识到数据科学和相关学科对于在现代经济中竞争至关重要。但许多人一直在努力成熟和扩展他们的数据和分析工作。

根据IDC的数据，在企业智能(即出色的数据科学和业务分析能力)方面处于前四分之一的组织“在2020年至2022年间经历强劲收入增长的可能性高出2.7倍，加速增长的可能性高出3.6倍新产品、服务、体验和其他举措的上市时间。”

Forrester将这些具有出色数据科学能力的组织称为“高级洞察驱动型企业”。它指出，到2021年只有7%的公司符合该绰号的标准。它预测，“2023年做出的决定将推动或消除世界的洞察机会。随着不确定的2023年的临近，数据团队正处于一个转折点之上，看起来就像过山车在下降前在直道上聚集——只有数据团队及其合作伙伴、实践和平台排成一排并做好准备，才能在转折点上快速高效地前进不确定的一年。”

许多希望达到必要准备水平的团队正在评估他们当前的数据科学技术堆栈并考虑进行更改。

如今，许多团队都在使用各种不同的工具。Gartner指出，“由于云迁移、新的和断开连接的生态系统以及新兴的自助服务需求，分析产品组合变得越来越复杂。”它预测，“到2023年，迁移的便利性、互操作性和一致性将成为90%的数据科学、机器学习和人工智能平台购买决策的决定性因素。”

那么，数据领导者在寻找互操作性和一致性并做出购买决策时将评估哪些工具?

本文重点介绍当今可用的10种最流行的数据科学工具。它包括数据科学平台、编程语言和其他可以帮助企业变得更加数据驱动的工具。

10.Trifacta/Alteryx

Trifacta是一种流行的数据科学工具，可以加快数据整理和准备过程。Trifacta可快速将原始数据转换为数据科学家可用于实际分析的格式，否则该过程将花费很长时间。(有人说数据科学家80%的时间可以花在这些活动上。)Trifacta的工作原理是梳理原始数据集，识别潜在的变化，然后自动进行转换。通过使用Trifacta进行数据准备和清理，数据科学家能够将更多时间花在与实际数据科学相关的问题上。Trifacta最近被Alteryx以4亿美元收购。

9.Datarobot

数据机器人使用人工智能和机器学习来协助数据用户进行数据建模。它旨在使数据建模过程民主化，它真正为每个人提供了一些东西。该平台非常易于使用，不需要编程或机器学习知识，因此几乎没有编程经验的业务分析人员也可以构建复杂的预测模型。同时，它为经验丰富的数据科学家和工程师提供了更深入的工具，以生成更好的预测模型。Datarobot也非常灵活，支持R、Python、H20、Spark ML、Vowpal Wabbit等。DataRobot的可访问性和灵活性及其速度和可靠性有助于确保其平台被全世界的数据科学家和非数据科学家广泛使用。

8、SQL

尽管非结构化数据存储受到大量关注，但数据科学家仍然对驻留在传统数据库中的结构化数据做了大量工作。为了访问这些数据，他们经常依赖SQL(结构查询语言)。

在Kaggle进行的2020年数据科学调查中，44%的受访者表示他们经常使用某种形式的SQL。他们中的许多人从基于SQL的数据库(如MySQL、PostgresSQL、SQL Server和SQLite)中查询数据，但您也可以将SQL与大数据工具(如Spark和Hadoop)结合使用。虽然它不是一项新的或性感的技术，但SQL提供了对结构化数据的简单、高效的访问，并且是数据科学家工具箱的重要组成部分。

7.Excel

另一个最受数据科学家欢迎的工具是另一个最低级和最容易被忽视的工具——Microsoft Excel。

当您想到数据科学时，无处不在的电子表格应用程序可能不是您想到的第一个工具，但它是数据科学家在数据处理、数据可视化、数据清理和执行计算方面使用最广泛的工具之一。此外，您可以轻松地将其与SQL配对以更有效​​地分析数据。虽然不适合处理数据科学家经常使用的庞大数据集，但Excel是执行较小规模数据分析的绝佳工具，并且是每个数据科学家都应该熟悉的工具。

6.SAS维亚

SAS Viya是市场上最全面的数据管理和分析平台之一，专为数据分析而创建。由于其出色的可靠性、安全性和处理大型数据集的能力，它是大型公司和组织中最受欢迎的统计分析工具之一。SAS还提供广泛的库和工具来帮助数据科学家进行数据建模，并与许多流行的工具和编程语言集成。它是基于云的，包括基于AI的自动化功能。然而，由于成本高，它没有被较小的组织广泛使用。

5.Tableau

作为数据科学家中使用最广泛的数据可视化工具之一，Salesforce的Tableau可以分析大量结构化和非结构化数据。然后，它可以将其分析的数据转换为各种有用的可视化效果，包括交互式图形、图表和地图。Tableau之所以如此有用，是因为它能够连接到各种不同的数据源。Tableau可以轻松连接到关系数据库、文件格式以及Azure和Google等大型云服务。与DataRobot一样，即使没有编程背景的人也能轻松学习和使用Tableau。

4.R

R编程语言广泛用于数据科学，更具体地说是用于统计建模和分析。除了Python之外，对于任何从事数据分析工作的人来说，它可能是最重要的语言。数据科学家将R和Python用于非常相似的目的，但存在一些关键差异。与Python相比，R更专注于数据科学的统计方面。R执行速度较慢，更难学习，扩展性不如Python，但在进行数据可视化和分析时通常更好。它是开源的，可以在大多数操作系统上编译和运行。

3.阿帕奇Hadoop

Apache Hadoop在“大数据”存储库中非常受欢迎，它是一个用于处理和存储大量数据的开源框架。Hadoop通过跨计算集群分配大数据任务来工作。这很重要，因为它允许组织的大数据系统以可扩展且具有成本效益的方式运行。此外，它有助于防止广泛的系统故障，因为如果系统中的一个节点出现故障，Hadoop会自动将任务重定向到其他节点。Hadoop是处理大数据的企业的标准配置，因此熟悉它对于任何想找一份处理大数据的工作的人来说都是至关重要。

2.TensorFlow

TensorFlow由Google创建，是一个用于开发机器学习应用程序的开源库。TensorFlow为用户提供了大量的资源和工具，以支持机器学习开发人员构建大型和高度复杂的神经网络而闻名。此外，TensorFlow与Python高度兼容，其软件库中包含许多预写模型以帮助完成某些任务。例如，TensorFlow可用于识别图像、处理自然语言以及对手写数字和字母进行分类。谷歌云和其他云计算服务提供基于TensorFlow的服务，这可以使该技术的入门变得容易。

1.Python

在过去的几年里，Python一直是数据科学家中最受欢迎的编程工具。在Kaggle调查中，86.7%的数据科学家表示他们使用Python，这是第二受欢迎的回答的两倍多。Python相对简单易学，这使得那些没有广泛编程背景的人也可以轻松地学习阅读和编写Python代码。许多最流行的数据科学工具要么是用Python编写的，要么与Python高度兼容。了解Python对于任何从事数据科学工作的人来说都是至关重要的，因为大多数数据科学工作至少需要基本的Python背景。