阿里云开源的流存储Fluss正式跻身Apache顶级项目:Agenitc lake的最强底座

8月11日消息,Apache 开源软件基金会日前宣布,由阿里云捐赠并开源的流式存储项目 Apache Fluss 正式从孵化器毕业,成为 Apache 全球顶级项目,相关提案在委员会投票中获得全票通过。Fluss在数据湖之上构建了湖仓原生的实时流存储层,可提供秒级更新的上下文,支撑企业级Agent的实时决策与行动,是Agenitc lake的最强底座,目前已在阿里、小红书、爱奇艺、蚂蚁等大型科技公司规模化落地。

《阿里云开源的流存储Fluss正式跻身Apache顶级项目:Agenitc lake的最强底座》

(图 1|Apache 软件基金会发布 Apache Fluss 成为顶级项目公告)

从内部实践到全球共建:一条“数据河流”的两年

Fluss 是全称是 Flink Unified Streaming Storage,最早由阿里云 Flink 团队开发,旨在解决流批一体成本高、数据链路复杂等痛点,在湖仓时代构建一整套统一的流式存储,同时具备高扩展性和弹性,全面适配汹涌而来的Agentic时代。

Fluss 于2024年11月在 Flink Forward Asia 2024 上海站宣布开源;2025年6月进入 Apache 软件基金会孵化器,从一项源自中国的技术探索,逐步成长为由全球开发者共同建设的开源项目。

孵化期间,社区规模与项目关注度持续攀升。目前 Fluss 已汇聚 157 位贡献者,GitHub 收获 2,000+ Stars,合并 Pull Request 超过 1700 个,形成了由不同国家、不同组织开发者共同参与的活跃社区。

《阿里云开源的流存储Fluss正式跻身Apache顶级项目:Agenitc lake的最强底座》

(图 2|Fluss 发展历程与社区指标)

从 Lakehouse 到 Lakestream:为 Agentic 时代补上“实时”这一环

Agent时代,智能体的处理速度远超人类,数据也不再只是分析的输入,而是 Agent 判断与行动所依赖的实时上下文。但传统的 Lakehouse 擅长沉淀和治理海量历史数据,却难以持续满足秒级乃至毫秒级的数据新鲜度要求。

阿里云给出的答案是 Lakestream 湖流一体架构——Apache Fluss 在数据湖之上构建湖仓原生的实时流存储层,将持续更新的最新数据与长周期历史统一起来,为 AI Agent 提供从过去到当下、新鲜而完整的上下文,支撑生产级的实时决策与行动。

例如,长期历史数据保存在 Paimon、Iceberg、Hudi、Lance 等开放数据湖中,最新数据由 Fluss 实时承载;通过 Union Read,Agent 可从统一表视图访问从历史到最新的数据,避免上下文割裂。同时,Fluss底层基于 Apache Arrow 列存实现,支持服务端列裁剪、条件下推、分区下推,以更少的数据读取与传输支撑高效流式分析。

 

《阿里云开源的流存储Fluss正式跻身Apache顶级项目:Agenitc lake的最强底座》(图 3|Apache Fluss 湖流一体架构)

千亿级流量验证:从淘宝闪购到小红书索引链路

目前Apache Fluss已在阿里巴巴、小红书、京东、蚂蚁集团、Fresha、爱奇艺等公司的生产环境中部署落地,广泛应用于日志采集与分析、实时数仓、AI搜索推荐、索引链路和实时特征服务等场景,帮助企业减少跨系统的数据复制,降低实时数据处理与存储成本,并进一步提升湖仓数据新鲜度与分析效率。

淘宝闪购作为 Fluss 的早期深度实践者,在千亿级流量场景下系统性解决了 State 膨胀与链路复杂等痛点,并在618大促等关键节点稳定支撑了核心实时决策链路。在小红书,Fluss 的列式读写、冷热分层、湖流一体等能力已应用于索引数据链路等核心场景,显著降低实时链路成本,提升构建与在线消费效率。

Apache Fluss的下一站:深耕Agentic Lake

成为 Apache 顶级项目之后,Fluss 将继续基于Agentic Lake理念,深耕湖仓原生流式存储,:让流处理拥有更高效、可复用的存储基础,让 Lakehouse 真正具备实时能力,也为依赖实时特征、动态状态和持续上下文的 AI 应用提供开放的数据底座。

除了Fluss等开源项目之外,阿里云也提供了全托管的“流存储 Fluss + DLF(Paimon)+ EMR StarRocks”的Agentic Lake 解决方案, DLF(Paimon)负责全模态湖仓数据底座,流存储 Fluss 负责数据的实时流动,EMR StarRocks 则提供低延迟的实时分析能力。

“当数据湖的服务对象从人转向 Agent,谁能率先把‘实时’这一层做扎实,谁就握住了 Agentic 时代的入场券。“阿里云开源会员会副委员长王峰表示。

相关链接

  • 项目官网:https://fluss.apache.org/
  • GitHub 代码仓库:https://github.com/apache/fluss
  • 贡献指南:https://fluss.apache.org/community/how-to-contribute/overview/

点赞

发表评论

邮箱地址不会被公开。 必填项已用*标注