1. spark streaming 如果以local 模式運行，log日志非常清楚。
2. 如果log 日志是運行在yarn 模式下，driver 的日志可以通過reource manager 日志看到。但是executor的日志卻看不到，我們常常毛病都產生在executor里，比如典型的毛病：如果我們連接hbase去存取數據的話，我們會在driver里初始化了連接，缺疏忽的excutors里，致使程序出錯。如果你的代碼里有try cache，executor的 毛病不會影響driver 運行，但是結果卻是毛病的。我們這需要查看executor的日志：由于executor運行在yarn 的模式下，我們從本地containner查看日志。 CDH 版本yarn container 的日志再以下路徑下：

[root@hadoop⑶ ~]# ll /var/log/hadoop-yarn/container/application_1429701572510_0022/container_1429701572510_0022_01_000002/
總用量 932
-rw-r

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈