当前位置:万博足彩 > 资讯资讯 > 正文

Hadoop架构已凋谢吗 ?2018-11-19 15:39:25 | 编辑:hely | 查看: | 评论:0

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。

Hadoop架构的人气在下滑,这可能归咎于几个不同的因素,尤其是机器学习的兴起。

过去这几年,HDFS的使用量一直在下降,这种基于Java的文件系统已几乎成为所谓的万博manbetx客户端革命的代名词。这主要归因于市场对Hadoop普遍缺乏兴趣。但是导致Hadoop被大规模抛弃的Hadoop架构方面又如何呢?要知道,就在不久前Hadoop还大有希翼。

 

Hadoop架构已凋谢吗 ?

 

坦率地说,Hadoop走下坡路似乎找不到一个最根本的理由。相反,Hadoop架构人气下滑可能归咎于几个不同的因素。

一些IT专业人员对于自己无法在Hadoop集群上实行任何有意义的数据分析颇为沮丧。一种常见的观点是,Hadoop非常适合存储大量数据,但是对于需要最终用户可以直接处理这些数据的那些企业来说,它又往往不是最佳解决方案。

几家供应商已经开发了SQL on Hadoop解决方案,让客户可以针对驻留在Hadoop上的数据运行SQL查询。即便如此,这些工具也不是天生一模一样,每家SQL on Hadoop供应商都似乎为特定的使用场合设计其工具。不难想象众多企业组织痛苦地发现:它们购买的SQL on Hadoop引擎其实并不是很适合自己的万博manbetx客户端项目。

不仅仅是很难让Hadoop完成企业组织需要它完成的任务这个因素导致Hadoop的使用量减少。导致Hadoop日渐式微的偶尔提到的另一个原因是,Hadoop与目前的IT趋势不相合拍。

万博manbetx客户端革命似乎在一夜之间就立稳了脚跟;万博manbetx客户端蔚然成风时,Hadoop完全准备好了响应号召。毕竟,据Hortonworks声称,HDFS文件系统“已表明了它具有在生产环境下支撑200 PB存储的可扩展性”,而4500台服务器组成的单单一个集群就能支撑“近10亿个文件和块”。很显然,HDFS处理得了万博manbetx客户端。

可问题是,万博manbetx客户端潮流似乎已翻篇了。尽管IT部门仍然在搞可能归属万博manbetx客户端这个大类的项目,但这个术语用得越来越少。相反,当下的IT潮流似乎是机器学习;当然,Hadoop并不直接支撑机器学习。市面上有一些第三方工具(比如Apache Mahout)能够做到让Hadoop支撑机器学习,但可能数量太少、动作太晚。

然而,Hadoop使用量下降的最大原因可能是AMAZONAWS和MicroSoftAzure等IaaS云日渐成熟。公共云对于企业组织远离Hadoop起到了重要的作用,这出于几个不同的原因。

第一个原因是纯粹的感知或看法。大家生活在一个云优先的世界。公共云提供商在说服人们相信在云端运行工作负载比在本地运行同样那些工作负载要省钱得多这方面做得很到位。

另外,外头往往认为继续在本地环境部署新工作负载的企业多少落后于时代。

公共云提供商慢慢促使Hadoop衰落的第二个原因是,云提供商实际上构建了一个更管用的捕鼠器。虽然值得一提的是,AMAZON确实通过AMAZONEMR支撑Hadoop和Spark,但对于需要万博足彩app下载安装功能的企业组织而言,EMR并非AMAZON的唯一解决方案。AMAZON还提供Athena和Elasticsearch,前者可用于分析存储在AMAZONS3中PB级的数据,后者支撑PB级的日志分析、文本搜索和应用程序监控功能。

我料想,Hadoop和HDFS文件系统根本不会完全消失,至少在短期内不会消失。我认为,将来可能总是需要使用商用硬件的大容量存储。此外,将大量数据上传到公共云可能成本过高,还可能带来购置、维护和运输等保障方面的问题。

话虽如此,新的万博manbetx客户端项目诞生于云端显得越来越常见,IT专业人员日益发现云原生万博manbetx客户端工具比Hadoop来得更易于使用、更有效。

编辑:Brien Posey是Relevant Technologies主管研究开发的副总裁,为多家刊物和网站撰写技术文章。

分享到:0收藏

上一篇:万博manbetx客户端方向的安全技术研究 从睫毛膏到太空垃圾,2018年度最佳数据可视化作品都在这了!下一篇:

公众平台

搜索"raincent"或扫描下面的二维码

新浪微博 Tencent微博 订阅中心
?