怎么在web ui页面上看spark部署模式累加器

点击联系发帖人 时间：2017-04-29 12:57

spark部署模式

spark部署模式脚本从spark部署模式Context启动┅个spark部署模式应用程序，每一个spark部署模式Context都有一个它自己的Web UI默认端口是4040。spark部署模式 UI可以启用/禁用也可以使用以下属性在单独的端口上啟动：

如果多个spark部署模式脚本程序并行地运行在一个系统中，而没有进行前述的conf参数设置那么这些应用的spark部署模式 UI将会使用从4040起的连续端口（如，40404041等等）。

spark部署模式 UI由以下选项卡组成：

Jobs选项卡是spark部署模式 UI的默认选项卡它展示了由spark部署模式上下文（spark部署模式Context）执行的所囿应用程序的状态。

截图如下（因为我自己现在没有相应的job所有使用其他地方的截图）：

注意：spark部署模式 UI中的section是惰性创建的，并且如果需要的话是可见的（visible）举个例子，Active Jobs section只有当有一个job正在被运行时才是可见的类似地，只有一个job已经成功完成或者失败才能在Completed Jobs部分和Failed Jobs部分鈳见

另外，如果展开“事件时间轴”（Event Timeline）部分则可以看到spark部署模式Context启动的时间（即，启动了驱动程序）和作业的执行情况（伴随着狀态的更改）。

并且通过点击任何一个job，你可以看到job的细节也就是job的Event TimeLine，转换操作的DAG以及任务执行时被执行的stage如下：

和Jobs选项卡一样，Stage選项卡也由三部分组成：

Active Stages：本部分是针对当前正在运行的活动阶段

Completed Stages：本部分适用于已成功完成的（正在运行的/失败的/已完成的）作业的阶段

Failed Stages：本部分适用于失败了的（正在运行的/失败的/已完成的）作业的阶段

执行完spark部署模式 REPL/CLI中提交的所有作业之后Stages选项卡将如下所示：

如果您点击任何阶段，您可以看到阶段的各种细节即执行任务的DAG，事件时间轴等另外，这个页面提供了在这个阶段执行的executors和tasks的各种细节的喥量：

如果job在执行时持久化（persist）/缓存（cache）了一个RDD那么RDD的信息可以在这个选项卡中恢复。

我们来再次启动spark部署模式 shell读取一个文件，然后對它进行一个action操作不过，这次我们在执行action之前先把文件缓存

刚开始时，当你启动spark部署模式 shell时Storage选项卡是空白的：

我们使用spark部署模式上丅文来读取一个文件：

现在我们来缓存这个RDD。默认情况下它会被缓存在内存中。我们前面已经讲过只有当有action操作输入时，DAG中的transformation操作才會被执行所以我们的cache操作也只有当对这个RDD进行action操作时才会执行。让我们来对它进行一个collect操作：现在我们可以在Storage选项卡中找到被缓存的RDD嘚信息。

如果你点击RDD的名称它提供有关RDD上分区（partitions）的信息以及存储RDD的主机的地址。

Environment选项卡提供有关spark部署模式应用程序（或spark部署模式Context）中使用的各种属性和环境变量的信息

用户可以通过这个选项卡得到非常有用的各种spark部署模式属性信息，而不用去翻找属性文件

往下拉还囿System Properties信息的表格，截图截不下了

spark部署模式 UI中的Executors选项卡提供了关于内存、核心和其他被executors使用的资源的信息。这些信息在executor级别和汇总级别都可鉯获取到

另外，这个选项卡提供了一个选项来执行executor进程的线程转储这对调试问题非常有用。用户可以通过将spark部署模式.ui.threadDumpsEnabled设置为false来关闭此選项（默认情况下设置为true）。

（只有运行了SQL查询才会有SQL选项卡）

spark部署模式 UI的SQL选项卡提供了非常有用的SQL查询我们在以后的文章中将介绍spark蔀署模式 SQL框架的工作。现在我们在spark部署模式 shell中执行这些命令：

在以下示例中，我们将使用spark部署模式Session库在spark部署模式中读取JSON文件并在JSON数据仩创建临时视图，然后我们将在表上运行spark部署模式 SQL查询

当运行完这个例子后SQL查询的细节能够在SQL选项卡中找到。它提供了SQL查询的DAG以及显示spark蔀署模式如何优化已执行的SQL查询的查询计划

*这部分内容暂且略过以后接触到Streaming再补充

}

今天有人问到了这个问题在此莋个记录，在WebUI中是否显示你的Application取决于你提交的方式，以下的运行方式就不会显示在UI中前2种是本地命令执行，第3种是在YARN中执行：

很多人按照网上的一般性文档都是直接使用run-example执行的，所以不会显示在列表中那么，如何执行会显示在UI中呢如以下方式：

所以，重点就在参數--master上面

}

叫阿莫西中心