简介

本文章主要介绍如何通过使用官方提供 的二进制包安装配置k8s集群

实验环境说明

实验架构

lab1: master 11.11.11.111lab2: node 11.11.11.112lab3: node 11.11.11.113复制代码

实验使用的Vagrantfile

# -*- mode: ruby -*- # vi: set ft=ruby :ENV["LC_ALL"] = "en_US.UTF-8"Vagrant.configure("2") do |config| (1..3).each do |i| config.vm.define "lab#{i}" do |node| node.vm.box = "centos-7.4-docker-17" node.ssh.insert_key = false node.vm.hostname = "lab#{i}" node.vm.network "private_network", ip: "11.11.11.11#{i}" node.vm.provision "shell", inline: "echo hello from node #{i}" node.vm.provider "virtualbox" do |v| v.cpus = 2 v.customize ["modifyvm", :id, "--name", "lab#{i}", "--memory", "2048"] end end end end 复制代码

安装

配置系统相关参数

如下操作在所有节点操作

# 临时禁用selinux # 永久关闭 修改/etc/sysconfig/selinux文件设置sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinuxsetenforce 0# 临时关闭swap # 永久关闭 注释/etc/fstab文件里swap相关的行swapoff -a # 开启forward # Docker从1.13版本开始调整了默认的防火墙规则 # 禁用了iptables filter表中FOWARD链 # 这样会引起Kubernetes集群中跨Node的Pod无法通信iptables -P FORWARD ACCEPT# 配置转发相关参数，否则可能会出错cat <
    
      /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1vm.swappiness=0EOFsysctl --system# 加载ipvs相关内核模块 # 如果重新开机，需要重新加载modprobe ip_vsmodprobe ip_vs_rrmodprobe ip_vs_wrrmodprobe ip_vs_shmodprobe nf_conntrack_ipv4lsmod | grep ip_vs# 配置开启自加载cat >/etc/modules-load.d/k8s-ipvs.conf<
    

配置hosts解析

如下操作在所有节点操作

cat >>/etc/hosts<

安装配置docker

v1.11.0版本推荐使用docker v17.03, v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用。 测试发现17.09无法正常使用，不能使用资源限制(内存CPU)

如下操作在所有节点操作

安装docker

# 卸载安装指定版本docker-ceyum remove -y docker-ce docker-ce-selinux container-selinuxyum install -y --setopt=obsoletes=0 \docker-ce-17.03.1.ce-1.el7.centos \docker-ce-selinux-17.03.1.ce-1.el7.centos复制代码

启动docker

systemctl enable docker && systemctl restart docker复制代码

安装CFSSL

只在lab1节点操作

# 下载 # 百度云链接：https://pan.baidu.com/s/1kgV40nwHy1IKnnLD6zH4cQ 密码：alyjmkdir -pv /server/software/k8scd /server/software/k8syum install -y wgetwget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64# 安装mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfomv cfssl_linux-amd64 /usr/local/bin/cfsslmv cfssljson_linux-amd64 /usr/local/bin/cfssljsonchmod +x /usr/local/bin/cfssl*复制代码

配置CA

只在lab1节点操作

此处的CA配置，后面配置etcd和k8s时都需要使用

mkdir -pv $HOME/ssl && cd $HOME/sslcat >ca-config.json<

配置etcd集群

生成etcd-ca

只在lab1节点操作

# 写入配置cat >etcd-ca-csr.json<
    
     etcd-csr.json<
    

安装启动etcd

如下操作在所有节点操作

# 安装 # 百度云链接：https://pan.baidu.com/s/1IVHyMqiJrlq9gmbF49Ly3Q 密码：w5nxmkdir -pv /server/software/k8scd /server/software/k8syum install -y wgetwget https://github.com/coreos/etcd/releases/download/v3.2.18/etcd-v3.2.18-linux-amd64.tar.gztar xf etcd-v3.2.18-linux-amd64.tar.gzmv etcd-v3.2.18-linux-amd64 /usr/local/etcd-v3.2.18ln -sv /usr/local/etcd-v3.2.18 /usr/local/etcdcd /usr/local/etcd && mkdir bin && mv etcd etcdctl bin/usr/local/etcd/bin/etcd --versioncd $HOME # 配置启动脚本 export ETCD_NAME=$(hostname)export INTERNAL_IP=$(hostname -i | awk '{print $NF}')export ECTD_CLUSTER='lab1=https://11.11.11.111:2380,lab2=https://11.11.11.112:2380,lab3=https://11.11.11.113:2380'mkdir -pv /data/etcdcat > /etc/systemd/system/etcd.service <

查看etcd集群状态

/usr/local/etcd/bin/etcdctl --endpoints "https://127.0.0.1:2379" \ --ca-file=/etc/etcd/ssl/etcd-ca.pem \ --cert-file=/etc/etcd/ssl/etcd.pem \ --key-file=/etc/etcd/ssl/etcd-key.pem \ cluster-health复制代码

生成k8s集群的CA

# 进入相关目录 cd $HOME/ssl# 配置 root cacat >ca-csr.json<
    
     kube-apiserver-csr.json<
     
      kube-controller-manager-csr.json<
      
       kube-scheduler-csr.json<
       
        kube-proxy-csr.json<
        
         admin-csr.json<
        
       
      
     
    

安装k8s文件

# 下载文件 # 需要翻墙，如果不能翻墙使用如下链接下载 # 链接：https://pan.baidu.com/s/1OI9Q4BRp7jNJUmsA8IAkbA 密码：tnx5 cd /server/software/k8swget https://dl.k8s.io/v1.11.0/kubernetes-server-linux-amd64.tar.gztar xf kubernetes-server-linux-amd64.tar.gzcd kubernetes/server/binmkdir -pv /usr/local/kubernetes-v1.11.0/bincp kube-apiserver kube-controller-manager kube-scheduler kube-proxy kubelet kubectl /usr/local/kubernetes-v1.11.0/binln -sv /usr/local/kubernetes-v1.11.0 /usr/local/kubernetescp /usr/local/kubernetes/bin/kubectl /usr/local/bin/kubectlkubectl versioncd $HOME 复制代码

生成kubeconfig

# 使用 TLS Bootstrapping  export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')cat > /etc/kubernetes/token.csv <

配置master相关组件

只在lab1节点操作

配置启动kube-apiserver

# 复制 etcd camkdir -pv /etc/kubernetes/pki/etcdcd /etc/etcd/sslcp etcd-ca.pem etcd-key.pem etcd.pem /etc/kubernetes/pki/etcd# 生成 service account keyopenssl genrsa -out /etc/kubernetes/pki/sa.key 2048openssl rsa -in /etc/kubernetes/pki/sa.key -pubout -out /etc/kubernetes/pki/sa.publs /etc/kubernetes/pki/sa.*cd $HOME # 启动文件cat >/etc/systemd/system/kube-apiserver.service<
    
     /etc/kubernetes/config<
     
      /etc/kubernetes/apiserver<
     
    

配置启动kube-controller-manager

# 启动文件cat >/etc/systemd/system/kube-controller-manager.service<
    
     /etc/kubernetes/controller-manager<
    

配置启动kube-scheduler

cat >/etc/systemd/system/kube-scheduler.service<
    
     /etc/kubernetes/scheduler<
    

配置kubectl使用

rm -rf $HOME/.kubemkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configkubectl get no复制代码

查看组件状态

kubectl get componentstatuses复制代码

配置kubelet使用bootstrap

# 将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予 system:node-bootstrapper cluster 角色kubectl create clusterrolebinding kubelet-bootstrap \--clusterrole=system:node-bootstrapper \--user=kubelet-bootstrap复制代码

配置node相关组件

如下操作在所有节点操作

安装cni

# 安装 cni # 百度云链接：https://pan.baidu.com/s/1-PputObLs5jouXLnuBCI6Q 密码：tzqm cd /server/software/k8swget https://github.com/containernetworking/plugins/releases/download/v0.7.1/cni-plugins-amd64-v0.7.1.tgzmkdir -pv /opt/cni/bintar xf cni-plugins-amd64-v0.7.1.tgz -C /opt/cni/binls -l /opt/cni/bincd $HOME 复制代码

配置启动kubelet

# 启动文件mkdir -pv /data/kubeletcat >/etc/systemd/system/kubelet.service<
    
     /etc/kubernetes/config<
     
      /etc/kubernetes/kubelet<
      
       /etc/kubernetes/kubelet-config.yml<
      
     
    

通过证书请求

# 在配置了kubectl的节点上执行如下操作 # 查看kubectl get csr# 通过kubectl certificate approve node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE# 查看节点 # 此时节点状态为 NotReadykubectl get nodes# 在node节点查看生成的文件ls -l /etc/kubernetes/kubelet.confls -l /etc/kubernetes/pki/kubelet*复制代码

配置启动kube-proxy

# 安装yum install -y conntrack-tools# 启动文件cat >/etc/systemd/system/kube-proxy.service<
    
     /etc/kubernetes/proxy<
    

设置集群角色

# 设置 lab1 为 masterkubectl label nodes 11.11.11.111 node-role.kubernetes.io/master=# 设置 lab2 lab3 为 nodekubectl label nodes 11.11.11.112 node-role.kubernetes.io/node=kubectl label nodes 11.11.11.113 node-role.kubernetes.io/node=# 设置 master 一般情况下不接受负载kubectl taint nodes 11.11.11.111 node-role.kubernetes.io/master=true:NoSchedule# 查看节点 # 此时节点状态为 NotReadykubectl get no复制代码

配置使用flannel网络

在lab1操作

# 下载配置mkdir flannel && cd flannelwget https://raw.githubusercontent.com/coreos/flannel/v0.10.0/Documentation/kube-flannel.yml# 修改配置 # 此处的ip配置要与上面kubeadm的pod-network一致 net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "vxlan" } }# 修改镜像image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64# 如果Node有多个网卡的话，参考flannel issues 39701， # https://github.com/kubernetes/kubernetes/issues/39701 # 目前需要在kube-flannel.yml中使用--iface参数指定集群主机内网网卡的名称， # 否则可能会出现dns无法解析。容器无法通信的情况，需要将kube-flannel.yml下载到本地， # flanneld启动参数加上--iface=
    
      containers: - name: kube-flannel image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64 command: - /opt/bin/flanneld args: - --ip-masq - --kube-subnet-mgr - --iface=eth1# 启动kubectl apply -f kube-flannel.yml# 查看kubectl get pods -n kube-systemkubectl get svc -n kube-system# 查看节点状态 # 当 flannel pod 全部启动之后，节点状态为 Readykubectl get no复制代码
    

配置使用coredns

在lab1操作

# 安装 # 10.96.0.10 kubelet中配置的dns cd $HOME && mkdir coredns && cd corednswget https://raw.githubusercontent.com/coredns/deployment/master/kubernetes/coredns.yaml.sedwget https://raw.githubusercontent.com/coredns/deployment/master/kubernetes/deploy.shchmod +x deploy.sh./deploy.sh -i 10.96.0.10 > coredns.ymlkubectl apply -f coredns.yml# 查看kubectl get pods -n kube-systemkubectl get svc -n kube-system复制代码

测试

启动

kubectl run nginx --replicas=2 --image=nginx:alpine --port=80kubectl expose deployment nginx --type=NodePort --name=example-service-nodeportkubectl expose deployment nginx --name=example-servicekubectl scale --replicas=3 deployment/nginx复制代码

查看状态

kubectl get deploy -o widekubectl get pods -o widekubectl get svc -o widekubectl describe svc example-service复制代码

DNS解析

kubectl run curl --image=radial/busyboxplus:curl -i --ttynslookup kubernetesnslookup example-servicecurl example-service复制代码

访问测试

# 10.96.59.56 为查看svc时获取到的clusteripcurl "10.107.91.153:80" # 32223 为查看svc时获取到的 nodeporthttp://11.11.11.111:32223/http://11.11.11.112:32223/http://11.11.11.113:32223/复制代码

清理

kubectl delete svc example-service example-service-nodeportkubectl delete deploy nginx curl

本文转自掘金-