Hadoop Yarn（二）―― 創建Eclipse工程

HamaWhite(QQ:530422429)原創作品，轉載請注明出處：http://write.blog.csdn.net/postedit/40615469。

1. 安裝環境介紹以下：
    系統：Ubuntu14.04
    Hadoop版本：hadoop⑵.5.0（點擊下載）
    Java版本：openjdk⑴.7.0_55
    Eclipse版本：Release 4.4.0 (點擊下載)
2. 把下載Hadoop源碼包 hadoop⑵.5.0-src.tar.gz 解壓到工作目錄（本文為/home/baisong），
    得到 hadoop⑵.5.0-src 文件夾。
3. 安裝Maven，命令以下：
    $ sudo apt-get install maven
4. 安裝Google開源的序列化框架 Protocol Buffers。
   1) 下載 protobuf⑵.5.0.tar.gz（點擊下載），然后解壓得到 protobuf⑵.5.0 文件夾。
   2)  進入protobuf⑵.5.0，輸入下屬命令：
        $ ./configure
       遇到以下毛病：
      
       分析：此屬于Ubuntu的常見毛病，可以把經常使用的庫全部下載，命令以下：
       $ sudo apt-get install build-essential
       然后再輸入 $ ./configure 命令便可。
   3) 順序履行下面3個命令。
       $ make
       $ make check
       $ sudo make install
   4) 查看Protocol版本號，檢查是不是安裝成功。
       $ protoc --version
       遇到以下毛病，以下：
      
      分析知是由于系統找不到lib庫，修改 /etc/ld.so.conf 文件，添加 /usr/local/lib 。以下：
      $ sudo gedit /etc/ld.so.conf
      內容：include /etc/ld.so.conf.d/*.conf /usr/local/lib
      履行下述命令更新庫文件路徑，然后就可以通過  $ protoc --version 命令查看版本號。
      $ sudo ldconfig
     
5. 編譯Hadoop源碼生成Jar包，無需編譯native code、測試用例和生成文檔，在/home/baisong/adoop⑵.5.0-src目錄下，輸入下述命令：
    $ mvn package -Pdist -DskipTests -Dtar
    編譯成功后，輸出信息以下：
   
6. 生成Eclipse工程文件，命令以下：
    $ cd hadoop-maven-plugins    
    $ mvn install
    $ cd hadoop⑵.5.0-src
    $ mvn eclipse:eclipse -DskipTests
    成功后的輸出信息以下圖：
   
7. 在Eclipse中導入源代碼：”File“ >> "Import" >> "Existing Projects into Workspace"，選擇hadoop⑵.5.0-src，然后確認。
     
    如上圖所示，導入后遇到毛病，共有59個毛病，但整體上分為3類。解決方法以下：
    毛病1： org.apache.hadoop.ipc.protobuf.× 沒法解析
    解決方法以下，順次履行下述命令。
    $ cd hadoop⑵.5.0-src/hadoop-common-project/hadoop-common/src/test/proto    //注釋：進入該目錄
    $ protoc --java_out=../java *.proto
    最后，刷新Eclipse中的所有工程。至此，只剩下 6 個毛病。
    毛病2：AvroRecord cannot be resolved to a type   TestAvroSerialization.java
    解決方法以下：
    首先，下載  avro-tools⑴.7.4.jar（點擊下載）。寄存于 hadoop⑵.5.0-src 目錄中。
    然后履行下述命令：
    $ cd hadoop⑵.5.0-src/hadoop-common-project/hadoop-common/src/test/avro
    $ java -jar ~/hadoop⑵.5.0-src/avro-tools⑴.7.4.jar compile schema avroRecord.avsc ../java
    最后，刷新Eclipse工程。只剩下 3個毛病。
    毛病3： Project 'hadoop-streaming' is missing required source ... Build Path Problem
    解決方法以下：
   右鍵 hadoop-streaming 項目->properties->左側Java Build Path->Source->選定毛病項->右側Remove，以下圖所示。
    
  至此，在Eclipse中創建Hadoop工程完成。