企业使用前10的大数据框架 Spark居首MapReduce等下降

2018年9月11日技术趋势 Admin

《企业使用前10的大数据框架 Spark居首MapReduce等下降》

TechRepublic报道，根据Qubole（数据分析自动化平台）和Dimensional Research（维度研究）周二发布的报告，大数据继续在所有行业中快速增长。组织正在使用大数据来推动IT项目，改善销售并增强客户服务。他们越来越多地利用大数据框架来获得所收集信息的全部价值。

在调查了大型企业负责大数据的401名数据专业人员之后，该报告没有发现单一的软件框架在大数据领域占主导地位。但是，25％的组织正在使用自行开发的大数据处理方法。

根据该报告，以下是十大大数据框架：

该报告指出，2017年有些数字增加，而其他数字则有所减少。Spark，HBase，Presto，Kafka，Impala，Flink和本地开发在2018年都大受欢迎，而Hive，MapReduce，Storm和Pig的使用量均下降。

技术领导者必须要留意的重大信息：1、Spark、Hive和HBase是企业中最常用的大数据软件框架。2、75％的数据专业人士表示，他们面临着大数据工程师、科学家和运营商的人员短缺。—— Qubole，2018年

报告发现，企业可能会优先考虑大数据计划，但人才短缺仍然是一个主要问题。四分之三（75％）的受访者表示，他们面临着大数据工程师、科学家和运营人员短缺。虽然79％的企业表示他们希望在明年增加他们的数据团队人数，但83％的企业表示很难找到具备必要技能和经验的数据专业人员。

此外，组织在大数据方面还遇到了其他一些挑战。最常见的大数据障碍是缺乏经验、减缓进度（44％），跟上新数据源（42％），不断变化的用例（41％），太多手动任务（38％），以及数据量（34％）。

报告指出，随着越来越多的公司希望在各种用例中实施机器学习计划，强大的大数据实践变得至关重要。根据该报告，明年机器学习计划的首要任务包括改善数据安全和威胁防护、优化客户体验以及利用预测性维护。