大数据可以带来很大的优势,但是你的网络可以“担任”吗?下面让咱们来看看网络面对的一些应战和注意事项。
幻想这样一个状况,在第一集播出之前,广播网络就可以准确地预测电视连续剧的播出状况。咱们可以通过东西来剖析家电中的传感器的数据,来协助居民降低功耗,或许利用东西通过实时追寻数据包来优化传达路线和流量耗费。
听起来太超前?其实,咱们现已差不多完成了。
移动应用程序、全IP无线网络、在线商务、销售点体系、交际媒体以及传感器的崛起产生了很多数据,假如咱们可以正确地剖析这些数据,咱们将可以挖掘出要害情报来促进业务决策。大部分这些数据是在“空中”搜集的,假如敏捷采纳行动,这可以为企业供给独特的竞赛优势,以及解决问题。
但这些数据量非常巨大,而且速度正在不断提升,这也对网络提出了更高的要求。网络需求负责处理数据,在大数据牵强,网络办理员和首席信息官面对着全新的应战。
改变数据流
大数据正在不断改变,数据量现已超越了TB级到PB级,数据联系现已从简单和已知的发展为复杂和未知的;数据模型现已从固定方式类型转变为不固定方式;数据来历现已从简单的数据录入转变为各种来历,包括手持式设备和机器传感器。大数据包括各种各样的方式,例如,通话录音与***买卖信息有所不同。与传统应用程序中的结构化数据不同的是,大数据包括半结构化或非结构化数据,例如文本、音频、视频、点击流、日志文件,以及丈量和传输地舆及环境信息的传感器的输出数据。
大数据环境改变了数据在网络中流动的方式,大数据产生了更多的东-西或许服务器到服务器流量,而不是南-北或服务器到客户端流量,对于每个客户端互动,可能会有数百或许数千服务器和数据节点交互。应用程序架构现已从集中式方式转变为分布式方式。这与过去20年构建的传统的客户端/服务器网络架构相反。
大数据对网络的影响
从各种来历搜集数据,大数据体系在服务器集群中运转,这些服务器集群分布在多个网络节点。这些集群以平行向外的方式运转使命。流量方式的运转范围从1到1(电话)、1到多(电视节目)、多到1(音乐会观众)、以及多到多(对讲机),这结合了并行运转的多个节点之间的单播和组播流量。网络办理员需求应对这种归纳的流量方式,其间一些流量创建了单独的流,其间一些则创建了多个流。
此外,当数据供给到核算节点时,会产生很多网络流量。分布式节点之间的数据收拾操作需求快速和可预测的数据传输。剖析体系使用直接附加存储来处理,中心存储来清理数据。
数据需求在网络中四处移动,并在剖析过程中有效地操作。跟着新数据集的添加,以及来历的添加,作业负载也在添加,这意味着敏捷添加容量的需求也在提升。因而,要害是优化网络架构中的本地性、高功能、横向扩展和直接服务节点到服务节点的连接。
需求新的网络模型
其间一个规划模型触及构建低端商品硬件,以及让剖析软件对网络问题作出反应,例如从头启动由于拥塞而超时的使命。这种方式被用于非实时处理,其间完结时间并不是要害,同时,数据主要来自一个来历。
另一种方式则触及建立根据硬件的体系,该体系可以供给确定性的功能来确保继续的处理。这种模型被用于对来自多个来历的数据的近实时剖析。
网络节点在恣意到恣意的模型中相互连接,它们之间具有单跳,为处理多个很多数据流供给专用处理体系,具有低损耗和确定性功能,这可以有利于实时大数据体系,
交换机架构供给了整个体系带宽和功能的优势,尤其是削减延迟性。方位独立性允许集群和数据从架构中的任何方位完成最佳功能。这种架构还能完成新数据来历到集群的无缝交融,而不需求从头布线,并显著地简化了体系的扩展。这种架构供给的交融,让服务器集群以及存储区域网络跨网络通信。所有资源作为一个实体来办理,方针也可以很简单地布置到整个交换基础设施。
布置大数据解决方案
大数据给企业捕捉和剖析数据带来了巨大的机会。跟着IT企业开始测验和构建自己的解决方案,网络办理员有必要考虑这些技术对其服务器、存储、网络和运营基础设施的影响。企业如何可以最好地开发新的基础设施来利用和剖析不断添加的大数据流量呢?在开发网络拓扑时,请必须考虑以下问题:
?对数据流的剖析是在实时进行吗?
?是否有多个数据源,它们是静态或动态?
?假如试点成功,集群有多大需求?
?添加更多容量是否简单且方便?
?大数据应用程序是否需求与其他应用程序集成?
回答这些问题可以协助你构建更适合大数据的网络,它们将会指示你的基础设施将如何影响数据中心架构以及互连要求。
大数据需求企业制定新的战略,来供给实时业务剖析和新的业务洞察力。跟着数据的快速改变,企业有必要考虑这些要害技术来满意明天的业务需求,满意最高水平的出资维护、业务敏捷性,并缩短进入市场的时间