shuffle

shuffle 1 kafka 1 docker 1 github 1 sql 5 spark 4 cache 1 query 1 join 1 life cycle 1 ttl 1 translation 1 idea 2 essay 1 solution 1 skill 4 proxy 1 terminal 1 mac 1 cloud-native 1 cube 1 bigdata 10 hive 5 clickhouse 5

大数据未读

shuffle 算子不一定需要 shuffle

一、Dependency Spark RDD五大属性之一的：依赖列表(Dependency)，不仅描述父子 RDD 的血缘关系，更关键描述了父子 RDD 的partitions之间的关系。同时也是判断是否需要划分stage的关键，而stage的划分一定伴随着shuffle spark 的依赖通过抽象

spark shuffle idea bigdata 2024-09-19