企业使用前10的大数据框架 Spark居首MapReduce等下降

《企业使用前10的大数据框架 Spark居首MapReduce等下降》

TechRepublic报道,根据Qubole(数据分析自动化平台)和Dimensional Research(维度研究)周二发布的报告,大数据继续在所有行业中快速增长。组织正在使用大数据来推动IT项目,改善销售并增强客户服务。他们越来越多地利用大数据框架来获得所收集信息的全部价值。

在调查了大型企业负责大数据的401名数据专业人员之后,该报告没有发现单一的软件框架在大数据领域占主导地位。但是,25%的组织正在使用自行开发的大数据处理方法。

根据该报告,以下是十大大数据框架:

  • Spark (31%)
  • Hive (17%)
  • HBase (17%)
  • MapReduce (15%)
  • Presto (13%)
  • Kafka (13%)
  • Impala (11%)
  • Storm (11%)
  • Flink (9%)
  • Pig (6%)

该报告指出,2017年有些数字增加,而其他数字则有所减少。Spark,HBase,Presto,Kafka,Impala,Flink和本地开发在2018年都大受欢迎,而Hive,MapReduce,Storm和Pig的使用量均下降。

技术领导者必须要留意的重大信息:1、Spark、Hive和HBase是企业中最常用的大数据软件框架。2、75%的数据专业人士表示,他们面临着大数据工程师、科学家和运营商的人员短缺。—— Qubole,2018年

报告发现,企业可能会优先考虑大数据计划,但人才短缺仍然是一个主要问题。四分之三(75%)的受访者表示,他们面临着大数据工程师、科学家和运营人员短缺。虽然79%的企业表示他们希望在明年增加他们的数据团队人数,但83%的企业表示很难找到具备必要技能和经验的数据专业人员。

此外,组织在大数据方面还遇到了其他一些挑战。最常见的大数据障碍是缺乏经验、减缓进度(44%),跟上新数据源(42%),不断变化的用例(41%),太多手动任务(38%),以及数据量(34%)。

报告指出,随着越来越多的公司希望在各种用例中实施机器学习计划,强大的大数据实践变得至关重要。根据该报告,明年机器学习计划的首要任务包括改善数据安全和威胁防护、优化客户体验以及利用预测性维护。

 

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注