大数据安全有哪些挑战与解决方案？

大数据安全是监控和保护企业重要业务数据的过程，其目的是确保业务安全合规地持续运营。

确保大数据平台的安全需要传统的安全工具、新开发的工具集和智能流程的组合，以在大数据平台的整个生命周期内监控安全性。

大数据安全如何工作

大数据安全的任务非常明确：通过防火墙、强大的用户身份验证、最终用户培训、入侵保护系统(IPS)和入侵检测系统(IDS)阻止未经授权的用户的访问和入侵。万一有人获得访问权限，需要对传输和静止的数据进行加密。

这是一种网络安全策略。然而，大数据环境增加了另一个级别的安全性，因为安全工具必须在网络中不存在的三个阶段中运行。这三个阶段分别是：数据输入，也就是输入的内容;存储数据;数据输出到应用程序和报告中。

第一阶段：数据源。大数据来源于多种来源和数据类型。仅用户生成的数据就可以包括CRM数据、事务和数据库数据，以及大量非结构化数据，例如电子邮件或社交媒体帖子。除此之外，企业还拥有整个机器生成的数据世界，包括日志和传感器。企业需要在从数据源到平台的传输过程中保护这些数据。

第二阶段：存储数据。保护存储的数据需要成熟的安全工具集，包括静态加密、强用户认证、入侵防护和规划。企业需要在具有许多服务器和节点的分布式集群平台上运行其安全工具集。此外，它的安全工具必须保护日志文件和分析工具，因为它们在平台内运行。

第三阶段：输出数据。造成大数据平台的复杂性和成本的原因是，它可以在海量数据和不同类型的数据中运行有意义的分析。这些分析将结果输出到应用程序、报告和指示板。这种极其有价值的情报为网络攻击者提供了丰富的目标，对输出和入口进行加密至关重要。此外，在这一阶段确保合规性：确保输出给最终用户的结果不包含受监管的数据。

大数据的安全是一条迂回的道路，从理论上来说，它可能会在多个点上受到网络攻击。

引领大数据安全和趋势

大数据领域的两个最主要趋势在某种程度上是相互对立的：为智能技术提供信息的大数据的激增，以及消费者在决定如何使用他们的个人数据方面越来越重视安全性。

物联网、人工智能、机器学习甚至CRM数据库等技术收集了包含高度敏感个人信息的TB级规模的数据。这种个人的大数据对于那些希望更好地为其受众提供产品和服务的企业来说是有价值的，但这也意味着所有公司和第三方供应商都要对个人数据的道德使用和管理负责。

随着大数据及其企业用例的持续增长，大多数企业都在努力遵守消费者数据法律法规，但他们的安全漏洞使数据容易被破坏。以下介绍大数据世界中的一些顶级趋势，许多企业忽视的重要安全要点，以及一些确保大数据安全的建议：

(1)更新云计算和分布式安全基础设施

大数据的增长导致许多企业转向云计算和数据结构基础设施，以支持更多的数据存储可扩展性。云安全通常是基于遗留安全原则建立的，因此，如果云安全特性配置错误，容易受到网络攻击。

对于企业来说，要做到这一点，需要与云计算供应商和存储供应商讨论他们的产品，是否嵌入了安全解决方案，以及他们或第三方合作伙伴是否推荐了任何额外的安全资源。

(2)设置移动设备管理策略和流程

物联网和其他移动设备是大数据的最主要的来源和接收器，但它们也带来了一些安全漏洞，因为许多这些技术都是为个人生活所拥有和使用的。企业需要为员工如何使用个人设备上的公司数据设置严格的策略，并确保设置额外的安全层，以便管理哪些设备可以访问敏感数据。

(3)提供数据安全培训和最佳实践

在大多数情况下，大数据是由于成功的网络钓鱼攻击或其他针对不知情员工的个性化攻击而受到损害。企业培训其员工了解典型的社交工程攻击及其特征，并设置几层身份验证安全措施以限制哪些人员可以访问敏感数据存储。

大数据安全的好处

大数据安全系统具有客户保留、风险识别、业务创新、成本和效率等优势，对任何企业来说都有价值。

以下是大数据安全的主要好处：

保留客户：通过大数据安全，企业可以观察到许多数据模式，这使他们能够更好地使他们的产品和服务符合客户的需求。

风险识别：由于大数据的安全性，企业可以使用大数据工具来识别其基础设施中的风险，帮助企业创建风险管理解决方案。

业务创新：大数据安全可以帮助企业更新工具，并帮助将产品转移到新的安全系统中。这种创新可以改善业务流程、营销技巧、客户服务和生产力。

成本优化：大数据安全技术可以通过高效存储、处理和分析大量数据，降低客户成本。大数据安全工具还会计算出该产品将如何使企业受益，因此企业可以选择一家更适合其基础设施的合作伙伴。

大数据安全面临的挑战

确保大数据的安全面临一些挑战，可能会危及其安全性。需要记住的是，这些挑战绝不仅限于内部部署的大数据平台。它们也与云计算有关，当企业在云平台中托管大数据平台时，也面临安全性挑战，没有什么是理所当然的。企业可以与其云服务提供商密切合作，通过强大的安全服务级别协议来克服这些挑战。

以下是大数据安全面临的主要挑战：

新技术可能容易受到攻击：用于非结构化大数据和非关系数据库的高级分析工具是积极开发的大数据技术的例子。安全软件和进程很难保护这些新工具集。

产生不同的影响：成熟的安全工具有效保护数据的入口和存储。但是，它们可能对从多个分析工具到多个位置的数据输出产生不同的影响。

未经许可的访问：大数据管理员可能会在未经许可或通知的情况下决定挖掘数据。无论动机是好奇还是犯罪获利，企业的安全工具都需要对可疑访问进行监视和警报，无论其来自何处。

超出常规审计：大数据安装的规模(TB级规模到PB级规模)对于常规安全审计来说太大了。由于大多数大数据平台都是基于集群的，这在多个节点和服务器之间引入了多个漏洞。

需要持续更新：如果大数据所有者不定期更新环境的安全性，他们将面临数据丢失和暴露的风险。

大数据安全技术

从加密到用户访问控制，这些大数据安全工具都不是新工具。新颖之处在于它们的可扩展性和在不同阶段保护多种类型数据的能力。

加密：加密工具需要保护传输中的数据和静态数据，并且需要在大量数据量中做到这一点。加密还需要对许多不同类型的数据进行操作，包括用户生成的和机器生成的数据。加密工具还需要使用不同的分析工具集及其输出数据，以及常见的大数据存储格式，包括关系数据库管理系统、非关系数据库和专门的文件系统。

集中式密钥管理：集中式密钥管理多年来一直是网络安全的最佳实践。它同样适用于大数据环境，特别是那些地理分布广泛的环境。最佳实践包括策略驱动的自动化、日志记录、按需密钥交付，以及从密钥使用中抽象密钥管理。

用户访问控制：用户访问控制可能是最基本的网络安全工具，但许多企业实行最低限度的控制，因为管理开销可能很高。这在网络层面已经很危险，对大数据平台来说可能是灾难性的。强大的用户访问控制需要基于策略的方法，该方法可以根据用户和基于角色的设置自动进行访问。策略驱动的自动化管理复杂的用户控制级别，例如保护大数据平台免受内部攻击的多个管理员设置。

入侵检测与防御：入侵检测系统与防御系统是网络安全的主力军。这并不会降低它们对大数据平台的价值。大数据的价值和分布式架构使其容易遭到入侵。入侵防御系统(IPS)使网络安全管理员能够保护大数据平台免受入侵，如果网络入侵成功，入侵检测系统(IDS)将在入侵造成重大损害之前将其隔离。

物理安全：不要忽视物理安全。当企业在自己的数据中心部署大数据平台时，或者在云计算提供商的数据中心安全问题上仔细做尽职调查时，就可以构建它。物理安全系统可以阻止陌生人或工作人员进入敏感区域。视频监控和安全日志也会这样做。

实施大数据安全

无论企业是刚刚开始大数据管理并正在寻求初始的大数据安全解决方案，无论是企业还是长期的大数据用户都需要更新安全性，这里有一些大数据安全实施的提示：

管理和培训好内部用户：如上所述，员工的意外安全错误为恶意行为者提供了最常使用的安全漏洞之一。对员工进行安全和凭证管理最佳实践方面的培训，建立并让所有用户签署移动和企业设备策略，并根据每个用户的角色仅向其提供最低必要的数据源访问权限。

计划定期的安全监控和审计：特别是在大数据和软件几乎每天都在增长的大公司中，定期评估网络和数据环境如何随时间变化是很重要的。市场上提供了一些网络监控工具和第三方服务，使企业的安全人员能够实时查看异常活动和用户。定期的安全审计还使企业的团队有机会在问题成为真正的安全问题之前进行评估。

与值得信赖的大数据公司合作：大数据存储、分析和托管服务提供商通常会提供某种形式的安全性，或者与第三方组织合作。企业使用的平台可能不具备其所在行业或特定用例所需的所有特定功能，因此需要与其提供商讨论安全问题、监管要求和大数据用例，以便他们可以根据企业的需要定制服务。

谁负责大数据安全?

大数据部署跨越多个业务部门。IT人员、数据库管理员、程序员、质量测试人员、信息安全人员、合规主管以及业务部门都以某种方式负责大数据部署。那么谁负责保护大数据? 其答案是每个人。IT人员和信息安全人员负责政策、流程和安全软件，有效保护大数据部署免受恶意软件和未经授权的用户访问。合规人员必须与该团队密切合作，以保护合规性，例如自动从发送给质量控制团队的结果中剥离信用卡号码。数据库管理人员应该与IT部门和信息安全部门紧密合作，以保护他们的数据库。

最后，终端用户同样有责任保护企业的数据。具有讽刺意味的是，尽管许多企业使用他们的大数据平台来检测入侵异常，但大数据平台和任何存储的数据一样容易受到恶意软件和网络入侵者的攻击。网络攻击者渗透网络(包括大数据平台)最简单的方法之一就是发送电子邮件。尽管大多数用户都知道如何删除来自不明来源或伪造的邮件，但一些网络钓鱼攻击非常复杂。当管理员管理企业大数据平台的安全性时，永远不要忽视不起眼的电子邮件的力量。

企业需要确保大数据平台免受各种威胁，它将为企业的业务提供多年的良好服务。

大数据安全公司简介

数字安全是一个庞大的领域，有着成千上万的供应商。考虑到高技术挑战和可扩展性要求，大数据安全是一个相当小的领域。然而，大数据所有者愿意并且能够支付费用来确保有价值的就业机会，大数据安全供应商也在做出回应。以下是一些具有代表性的大数据安全公司。

(1)Snowflake

Snowflake公司的数据专家团队认为，数据安全应该内置到所有数据管理系统中，而不是在事后添加。Snowflake公司的数据云包括全面的数据安全功能，例如数据屏蔽和端到端加密传输和静态数据。他们还为用户提供可访问的支持，允许他们提交报告，Snowflake和他们的合作伙伴HackerOne公司可以在运行他们的私人漏洞程序时进行分析。

(2)Teradata

Teradata公司是数据库和分析软件的顶级提供商，他们也是云数据安全解决方案的主要支持者和提供商。他们的托管服务名为云数据安全即服务，提供定期第三方审计，为数据监管委员会的审计做准备。它们还提供传输和静态数据加密、数据库用户角色管理、存储设备退役、云安全监控和两层云安全防御计划等功能。

(3)Cloudera

Cloudera公司在大数据安全方面的主要策略是通过他们的共享数据体验来巩固安全管理，或者从统一的角度管理所有工作负载的安全和策略。这意味着，即使工具和最常用的工作负载随着时间的推移而变化，策略和安全更新仍然可以集中管理，而不会出现孤岛。在他们的安全解决方案中，Cloudera公司提供了统一的身份验证和授权、审计的端到端可见性、安全解决方案、特定于数据策略的解决方案以及多种形式的加密。

(4)IBM

IBM公司的数据安全产品组合侧重于多种环境、全球数据法规和简单的解决方案，以便用户可以在部署之后轻松管理其数据源和安全更新。IBM公司在数据安全方面关注的一些主要领域包括混合云安全管理、嵌入式策略和法规管理以及安全的开源分析管理。

(5)Oracle

Oracle公司是大数据市场上最大的数据库主机和提供商之一，但他们也为客户提供一些顶级安全工具。他们的安全解决方案主要集中在以下几个方面：安全评估、数据保护和访问控制、审计和监控。他们还为两个最流行的解决方案(Autonomous Database和Exadata)扩展了特定于平台的安全支持。

结语

如果企业使用精心选择的大数据安全工具，这些工具将在多年内为业务提供良好的服务，使其能够保护其大数据平台免受各种威胁。

大数据安全形势正在不断变化，以帮助所有的企业和用户。即使面临许多挑战，大数据安全的好处、易于实施以及当今先进的大数据安全工具也将帮助企业成长。