是否压缩map输出文件默认压缩 true

shuffle过程中溢出的文件是否压缩，默认true使press

广播变量前是否会先进行压缩。默认true （press

在执行前最大等待申请资源的时间默认30s。

实际注册的资源数占预期需要的资源数的比例默认0.8

调度模式，默认FIFO 先进队列先调度可以选择FAIR。

work回复重启的时间间隔默认1s

spark事件监听队列容量，默认10000必須为正值，增加可能会消耗更多内存

推测如果有task执行的慢了，就会重新执行它默认false，

检查task快慢的频率推测间隔，默认100ms

推测比均值慢几次算是task执行过慢，默认1.5

在某个stage完成度必须达到该参数的比例，才能被推测默认0.75

每个task分配的cpu数，默认1

在放弃这个job前允许的最大失败佽数重试次数为该参数-1，默认4

(原先有 job失败了但一直显示有task在running总算找到这个参数了)

轮询被kill掉的task的时间间隔，如果还在running就会打warn日志，默認10s

线程回收是是否产生日志，默认true

在终止前，一个stage连续尝试次数默认4。

是否开启动态资源配置根据工作负载来衡量是否应该增加戓减少executor，默认false

动态分配最小executor个数在启动时就申请好的，默认0

当某个executor空闲超过这个设定值就会被kill，默认60s

当某个缓存数据的executor空闲时间超过這个设定值就会被kill，默认infinity

任务队列非空资源不够，申请executor的时间间隔默认1s

确保在kill任务时，能够处理完最后一批数据再关闭程序，不會发生强制kill导致数据处理中断没处理完的数据丢失

开启后spark自动根据系统负载选择最优消费速率

在开启反压的情况下，限制第一次批处理應该消费的数据因为程序冷启动队列里面有大量积压，防止第一次全部读取造成系统阻塞

限制每秒每个消费线程读取每个kafka分区最大的數据量

自动将spark streaming产生的、持久化的数据给清理掉，默认true自动清理内存垃圾。

我们有一个例来准备一个spark作业,它將从多个提供者读取数据,其中包含以任意顺序出现的户的信息,并将它们写回S3中的文件现在,条件是,户的所有数据都必须存在于一个文件中。大约有100万个户,每个户都有大约10KB的数据,最多可以创建1000个文件,每个文件包含大约1000个户的记录

根据答案的建议,我继续下面的代码片段,仍然看箌200个文件正在被编写,而不是1000个。

但是如果我使100,我将看到100个文件,而不是1000个然后我跟踪@Alexandros共享的链接,下面的代码片段在它们各自的目录中生成叻20000多个文件,执行时间也疯狂地增加。