2、yarn applicationattempt -list <ApplicationId>
3、yarn container -list <Application Attempt Id>
4、查看对应 Container 日志
上述列表中,Container 启动最早的那个编号是 jobmanager,其余的是 taskmanager 。根据 yarn 配置:yarn.nodemanager.log-dirs,路径为:/data/yarn/container-logs。
前往对应 Host 节点,查看 /data/yarn/container-logs/
{Container-Id} 下面的容器日志。jobmanager.log 为 flink任务管理日志。
taskmanager.log 为 flink任务工作日志。
当然,也有朋友会问,我在 yarn resourceManager UI 上面也可以看到应用日志啊。是的,能看到,但我还是感觉命令行简单,并且你也不能保证每个项目的 yarn 环境,都能访问外网是吧。
所以我上面分享的查到对应的 Container 日志命令,是很有必要掌握的。
六、总结1、本篇文章,以 yarn 2.6.0 版本为例,主要讲解了 yarn 应用日志相关,分为本地 Container 日志和聚合日志。
2、接下来又讲解了 yarn 应用日志的相关参数,比如:日志存储目录、日志聚合相关参数、日志清理相关参数等
3、最后,就以查看 flink on yarn 日志为例,梳理了一下用 yarn 命令如何定位 Container 日志所在主机,如何用命令来查看日志。当然最后也建议大家,尽量学会以命令行的方式查看日志,因为不是每个项目环境的 yarn 都留有外网,而命令行则是我们程序员最后的倔强。
---------- END ----------
hadoop之yarn命令详解
hadoop之yarn详解(基础架构篇)
Elasticsearch 平滑下线节点实践指南
我有好几种办法让你访问 github 速度起飞,不信进来看!
ambari 前端之 ambari-web 模块概述
最后说一句(求关注,别白嫖我)扫一扫,我们的故事就开始了。
另外公众号改变了推送规则,大家看文章不要忘记点击最下方的在看,点赞按钮,这样微信自动识别为常看公众号,否则很可能推送的文章可能淹没在别的文章找不到,谢谢大家。