您當(dāng)前位置：首頁(yè) > 服務(wù)器 > 基于kubernetes構(gòu)建Docker集群管理詳解

基于kubernetes構(gòu)建Docker集群管理詳解

來(lái)源：程序員人生發(fā)布時(shí)間：2016-12-04 14:32:49 閱讀次數(shù)：3006次

1、前言
Kubernetes 是Google開源的容器集群管理系統(tǒng)，基于Docker構(gòu)建1個(gè)容器的調(diào)度服務(wù)，提供資源調(diào)度、均衡容災(zāi)、服務(wù)注冊(cè)、動(dòng)態(tài)擴(kuò)縮容等功能套件，目前最新版本為0.6.2。本文介紹如何基于Centos7.0構(gòu)建Kubernetes平臺(tái)，在正式介紹之前，大家有必要先理解Kubernetes幾個(gè)核心概念及其承當(dāng)?shù)墓δ堋Ｒ韵聻镵ubernetes的架構(gòu)設(shè)計(jì)圖：
點(diǎn)擊在新窗口中瀏覽此圖片

1. Pods
        在Kubernetes系統(tǒng)中，調(diào)度的最小顆粒不是單純的容器，而是抽象成1個(gè)Pod，Pod是1個(gè)可以被創(chuàng)建、燒毀、調(diào)度、管理的最小的部署單元。比如1個(gè)或1組容器。
2. Replication Controllers
        Replication Controller是Kubernetes系統(tǒng)中最有用的功能，實(shí)現(xiàn)復(fù)制多個(gè)Pod副本，常常1個(gè)利用需要多個(gè)Pod來(lái)支持，并且可以保證其復(fù)制的副本數(shù)，即便副本所調(diào)度分配的主宿機(jī)出現(xiàn)異常，通過(guò)Replication Controller可以保證在其它主宿機(jī)啟用同等數(shù)量的Pod。Replication Controller可以通過(guò)repcon模板來(lái)創(chuàng)建多個(gè)Pod副本，一樣也能夠直接復(fù)制已存在Pod，需要通過(guò)Label selector來(lái)關(guān)聯(lián)。
3、Services
        Services是Kubernetes最外圍的單元，通過(guò)虛擬1個(gè)訪問(wèn)IP及服務(wù)端口，可以訪問(wèn)我們定義好的Pod資源，目前的版本是通過(guò)iptables的nat轉(zhuǎn)發(fā)來(lái)實(shí)現(xiàn)，轉(zhuǎn)發(fā)的目標(biāo)端口為Kube_proxy生成的隨機(jī)端口，目前只提供GOOGLE云上的訪問(wèn)調(diào)度，如GCE。如果與我們自建的平臺(tái)進(jìn)行整合？請(qǐng)關(guān)注下篇《kubernetes與HECD架構(gòu)的整合》文章。
4、Labels
        Labels是用于辨別Pod、Service、Replication Controller的key/value鍵值對(duì)，僅使用在Pod、Service、 Replication Controller之間的關(guān)系辨認(rèn)，但對(duì)這些單元本身進(jìn)行操作時(shí)得使用name標(biāo)簽。
5、Proxy
        Proxy不但解決了同1主宿機(jī)相同服務(wù)端口沖突的問(wèn)題，還提供了Service轉(zhuǎn)發(fā)服務(wù)端口對(duì)外提供服務(wù)的能力，Proxy后端使用了隨機(jī)、輪循負(fù)載均衡算法。

        說(shuō)說(shuō)個(gè)人1點(diǎn)看法，目前Kubernetes 保持1周1小版本、1個(gè)月1大版本的節(jié)奏，迭代速度極快，同時(shí)也帶來(lái)了不同版本操作方法的差異，另外官網(wǎng)文檔更新速度相對(duì)滯后及欠缺，給初學(xué)者帶來(lái)1定挑戰(zhàn)。在上游接入層官方側(cè)重點(diǎn)還放在GCE（Google Compute Engine）的對(duì)接優(yōu)化，針對(duì)個(gè)人私有云還未推出1套可行的接入解決方案。在v0.5版本中才援用service代理轉(zhuǎn)發(fā)的機(jī)制，且是通過(guò)iptables來(lái)實(shí)現(xiàn)，在高并發(fā)下性能使人耽憂。但作者仍然看好Kubernetes未來(lái)的發(fā)展，最少目前還未看到另外1個(gè)成體系、具有良好生態(tài)圈的平臺(tái)，相信在V1.0時(shí)就會(huì)具有生產(chǎn)環(huán)境的服務(wù)支持能力。

1、環(huán)境部署
1、平臺(tái)版本說(shuō)明
    1）Centos7.0 OS
    2）Kubernetes V0.6.2
    3）etcd version 0.4.6
    4）Docker version 1.3.2

2、平臺(tái)環(huán)境說(shuō)明
點(diǎn)擊在新窗口中瀏覽此圖片

3、環(huán)境安裝
    1）系統(tǒng)初始化工作（所有主機(jī)）
    系統(tǒng)安裝-選擇[最小化安裝]

援用

    # yum -y install wget ntpdate bind-utils
    # wget http://mirror.centos.org/centos/7/extras/x86_64/Packages/epel-release⑺⑵.noarch.rpm
    # yum update

    CentOS 7.0默許使用的是firewall作為防火墻，這里改成iptables防火墻（熟習(xí)度更高，非必須）。
    1.1、關(guān)閉firewall：

援用

    # systemctl stop firewalld.service #停止firewall
    # systemctl disable firewalld.service #制止firewall開機(jī)啟動(dòng)

1.2、安裝iptables防火墻

援用

    # yum install iptables-services #安裝
    # systemctl start iptables.service #最后重啟防火墻使配置生效
    # systemctl enable iptables.service #設(shè)置防火墻開機(jī)啟動(dòng)

2）安裝Etcd（192.168.1.10主機(jī)）

援用

    # mkdir -p /home/install && cd /home/install
    # wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz
    # tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz
    # cd etcd-v0.4.6-linux-amd64
    # cp etcd* /bin/
    # /bin/etcd -version
    etcd version 0.4.6

啟動(dòng)服務(wù)etcd服務(wù)，如有提供第3方管理需求，另需在啟動(dòng)參數(shù)中添加“-cors='*'”參數(shù)。

援用

    # mkdir /data/etcd
    # /bin/etcd -name etcdserver -peer-addr 192.168.1.10:7001 -addr 192.168.1.10:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 &

配置etcd服務(wù)防火墻，其中4001為服務(wù)端口，7001為集群數(shù)據(jù)交互端口。

援用

    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 4001 -j ACCEPT
    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 7001 -j ACCEPT

    3）安裝Kubernetes（觸及所有Master、Minion主機(jī)）
    通過(guò)yum源方式安裝，默許將安裝etcd, docker, and cadvisor相干包。

援用

    # curl https://copr.fedoraproject.org/coprs/eparis/kubernetes-epel⑺/repo/epel⑺/eparis-kubernetes-epel⑺-epel⑺.repo -o /etc/yum.repos.d/eparis-kubernetes-epel⑺-epel⑺.repo
    #yum -y install kubernetes

升級(jí)至v0.6.2，覆蓋bin文件便可，方法以下：

援用

    # mkdir -p /home/install && cd /home/install
    # wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.6.2/kubernetes.tar.gz
    # tar -zxvf kubernetes.tar.gz
    # tar -zxvf kubernetes/server/kubernetes-server-linux-amd64.tar.gz
    # cp kubernetes/server/bin/kube* /usr/bin

校驗(yàn)安裝結(jié)果，出版以下信息說(shuō)明安裝正常。

援用

    [root@SN2014⑴2⑵00 bin]# /usr/bin/kubectl version
    Client Version: version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}
    Server Version: &version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}

4）Kubernetes配置（僅Master主機(jī)）
master運(yùn)行3個(gè)組件,包括apiserver、scheduler、controller-manager，相干配置項(xiàng)也只觸及這3塊。
4.1、【/etc/kubernetes/config】

view plainprint?

# Comma seperated list of nodes in the etcd cluster  

KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

# logging to stderr means we get it in the systemd journal  

KUBE_LOGTOSTDERR="--logtostderr=true"  

# journal message level, 0 is debug  

KUBE_LOG_LEVEL="--v=0"  

# Should this cluster be allowed to run privleged docker containers  

KUBE_ALLOW_PRIV="--allow_privileged=false"

4.2、【/etc/kubernetes/apiserver】

view plainprint?

# The address on the local server to listen to.  

KUBE_API_ADDRESS="--address=0.0.0.0"  

# The port on the local server to listen on.  

KUBE_API_PORT="--port=8080"  

# How the replication controller and scheduler find the kube-apiserver  

KUBE_MASTER="--master=192.168.1.200:8080"  

# Port minions listen on  

KUBELET_PORT="--kubelet_port=10250"  

# Address range to use for services  

KUBE_SERVICE_ADDRESSES="--portal_net=10.254.0.0/16"  

# Add you own!  

KUBE_API_ARGS=""

4.3、【/etc/kubernetes/controller-manager】

view plainprint?

# Comma seperated list of minions  

KUBELET_ADDRESSES="--machines= 192.168.1.201,192.168.1.202"  

# Add you own!  

KUBE_CONTROLLER_MANAGER_ARGS=""

4.4、【/etc/kubernetes/scheduler】

view plainprint?

# Add your own!  

KUBE_SCHEDULER_ARGS=""  

啟動(dòng)master側(cè)相干服務(wù)

援用

    # systemctl daemon-reload
    # systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
    # systemctl enable kube-apiserver.service kube-controller-manager.service kube-scheduler.service

    5）Kubernetes配置（僅minion主機(jī)）
        minion運(yùn)行兩個(gè)組件,包括kubelet、proxy，相干配置項(xiàng)也只觸及這兩塊。
    Docker啟動(dòng)腳本更新
    # vi /etc/sysconfig/docker
    添加：-H tcp://0.0.0.0:2375，終究配置以下，以便以后提供遠(yuǎn)程API保護(hù)。
    OPTIONS=--selinux-enabled -H tcp://0.0.0.0:2375 -H fd://

    修改minion防火墻配置，通常master找不到minion主機(jī)多半是由于端口沒有連通。
    iptables -I INPUT -s 192.168.1.200 -p tcp --dport 10250 -j ACCEPT

    修改kubernetes minion端配置，以192.168.1.201主機(jī)為例，其它minion主機(jī)同理。
5.1、【/etc/kubernetes/config】

view plainprint?

# Comma seperated list of nodes in the etcd cluster  

KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

# logging to stderr means we get it in the systemd journal  

KUBE_LOGTOSTDERR="--logtostderr=true"  

# journal message level, 0 is debug  

KUBE_LOG_LEVEL="--v=0"  

# Should this cluster be allowed to run privleged docker containers  

KUBE_ALLOW_PRIV="--allow_privileged=false"

5.2、【/etc/kubernetes/kubelet】

view plainprint?

###  

# kubernetes kubelet (minion) config  

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)  

KUBELET_ADDRESS="--address=0.0.0.0"  

# The port for the info server to serve on  

KUBELET_PORT="--port=10250"  

# You may leave this blank to use the actual hostname  

KUBELET_HOSTNAME="--hostname_override=192.168.1.201"  

# Add your own!  

KUBELET_ARGS=""

5.3、【/etc/kubernetes/proxy】

view plainprint?

KUBE_PROXY_ARGS=""  

啟動(dòng)kubernetes服務(wù)

援用

# systemctl daemon-reload
# systemctl enable docker.service kubelet.service kube-proxy.service
# systemctl start docker.service kubelet.service kube-proxy.service

3、校驗(yàn)安裝(在master主機(jī)操作，或可訪問(wèn)master主機(jī)8080端口的client api主機(jī))
1) kubernetes經(jīng)常使用命令

援用

# kubectl get minions    #查查看minion主機(jī)
# kubectl get pods    #查看pods清單
# kubectl get services 或 kubectl get services -o json    #查看service清單
# kubectl get replicationControllers    #查看replicationControllers清單
# for i in `kubectl get pod|tail -n +2|awk '{print $1}'`; do kubectl delete pod $i; done    #刪除所有pods

或通過(guò)Server api for REST方式（推薦，及時(shí)性更高）：

援用

# curl -s -L http://192.168.1.200:8080/api/v1beta1/version | python -mjson.tool    #查看kubernetes版本
# curl -s -L http://192.168.1.200:8080/api/v1beta1/pods | python -mjson.tool    #查看pods清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/replicationControllers | python -mjson.tool    #查看replicationControllers清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/minions | python -m json.tool    #查查看minion主機(jī)
# curl -s -L http://192.168.1.200:8080/api/v1beta1/services | python -m json.tool    #查看service清單

注：在新版kubernetes中，所有的操作命令都整合至kubectl，包括kubecfg、kubectl.sh、kubecfg.sh等

  2）創(chuàng)建測(cè)試pod單元
   # /home/kubermange/pods && cd /home/kubermange/pods
   # vi apache-pod.json

view plainprint?

{  

  "id": "fedoraapache",  

  "kind": "Pod",  

  "apiVersion": "v1beta1",  

  "desiredState": {  

    "manifest": {  

      "version": "v1beta1",  

      "id": "fedoraapache",  

      "containers": [{  

        "name": "fedoraapache",  

        "image": "fedora/apache",  

        "ports": [{  

          "containerPort": 80,  

          "hostPort": 8080  

        }]  

      }]  

    }  

  },  

  "labels": {  

    "name": "fedoraapache"  

  }  

}