本文将总结Spark 0中的自适应查询执行（AQE）与动态分区剪裁（DPP）这两个重要特性。在Spark 0版本中，新增了多项令人兴奋的新特性，包括动态分区剪裁、自适应查询执行、加速器感知调度、支持 Catalog 的数据源API、SparkR 中的向量化、支持 Hadoop 3/JDK 11/Scala 12 等。
Spark SQL配置中，spark.sql.adaptive.enabled参数开启Spark AQE（自动查询优化），优化查询执行计划，提高SQL执行效率。而spark.sql.adaptive.coalescePartitions.enabled参数则允许合并小数据分区，通过优化分区大小，提高SQL查询的性能。
在Spark中执行join连接时，可以采用多种方法，其中广播哈希join（broadcast hash join）在数据量足够小的情况下，可以使Join过程更快。现在，假设你在执行一个join操作，Spark最初计划使用某种连接策略。
Spark 0 引入的AQE（Adaptive Query Execution）是一项关键功能，它解决了大型集群中复杂查询性能优化的问题。Spark SQL在易用性和性能上曾面临挑战，主要源自于数据量评估的不准确和动态调整配置的困难。
Spark AQE新特性的核心要点如下：定义与目的：定义：AQE是Spark 0引入的一项关键功能，旨在解决大型集群中复杂查询的性能优化问题。目的：提升Spark SQL在易用性和性能上的表现，解决数据量评估不准确和动态调整配置困难的问题。
1、大数据的核心技术主要包括以下几点：数据采集与预处理技术：Flume NG：用于实时收集日志，支持定制各类数据发送方。Zookeeper：作为分布式应用程序协调服务，提供数据同步服务。分布式存储技术：Hadoop HDFS：Hadoop框架的核心存储引擎，特别设计用于离线和大规模数据分析。
2、大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
3、大数据技术体系庞大复杂，其核心包括数据采集、预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等。基础处理技术框架主要分为数据采集与预处理、数据存储、数据清洗、查询分析和数据可视化。
