Spark任务AM复用导致任务混乱

spark-submit 增加参数

–conf spark.yarn.am.extraJavaOptions=“-Dhadoop.yarn.application.AM_REUSE=false”

–conf spark.yarn.submit.waitAppCompletion=true

Yarn修改参数：

yarn.resourcemanager.am.liveness-monitor.interval-ms =1000 –RM检查AM存活状态的时间间隔（单位为毫秒，默认1s）。

yarn.am.liveness-monitor.expiry-interval-ms = 1000 –AM在无响应后判定为失效的时间阈值（单位为毫秒,m默认10分钟）。