随着大数据时代的到来，分布式计算框架成为大规模数据处理的核心支撑技术，其性能直接决定了数据挖掘、机器学习、人工智能等应用的效率与可扩展性。本文围绕分布式计算框架在大规模数据处理场景中的性能优化展开研究，首先分析了框架设计的基本原理与核心瓶颈，其次从任务调度、资源管理、数据存储与传输机制等方面阐述了优化策略，再结合典型的分布式计算框架如Hadoop、Spark和Flink的案例进行对比分析，并在最后提出未来优化的发展方向。研究表明，性能优化不仅依赖于框架内部机制的改进，还需要结合硬件环境、数据特征以及具体应用场景进行综合设计。

大规模数据处理；分布式计算框架；性能优化；任务调度；数据存储

[1]马星.Spark分布式计算平台性能优化研究[D].电子科技大学,2024.

[2]朱泓睿,元国军,姚成吉,等.分布式深度学习训练网络综述[J].计算机研究与发展,2021,58(1):98-115.

[3]李树茂.软件定义卫星网络的计算流量调度方案研究[D].哈尔滨工业大学,2023.

[4]王磊,陈莹.分布式计算环境下的大规模数据处理技术研究[J].中国科技投资,2024(26):27-29.

[5]高原.大规模数据统计分析方法与理论的若干研究[D].华东师范大学,2023.

[6]母亚双.分布式决策树算法在分类问题中的研究与实现[D].大连理工大学,2018.

[7]潘莹丽,刘飞,刘展,等.基于大规模数据尾期望回归的分布式计算方法[J].统计与决策,2022,38(12):11-16.

[8]罗齐.基于分布式架构的网络流量分析系统设计与实现[D].郑州大学,2019.