最近公司業(yè)務適配國產(chǎn)化操作，我們計劃采用華為開源的 openEuler 系統(tǒng)。又由于 k8s 在公司業(yè)務中占很大一塊。所以我優(yōu)先嘗試使用 kubeadm 在 openEuler 上部署 k8s。在國內(nèi)通過 kubeadm 部署 k8s 的難點在于資源的下載，k8s 很多官方資源倉庫都被防火墻屏蔽了，這么文檔就展示了如何使用國內(nèi)鏡像倉庫通過 kubeadm 部署 k8s。

準備

老規(guī)矩，為了以防萬一先關閉防火墻和 seLinux：

systemctlstop firewalldsystemctldisable firewalldsetenforce0

要想永久關閉 selinux，需要修改配置文件 /etc/selinux/config，設置 SELINUX=disabled。

另外需要注意的是如果想部署多節(jié)點需要提前把節(jié)點 hostname 和 ip 的映射寫入 /etc/hosts。

加載內(nèi)核模塊 br_netfiltermodprobebr_netfilterecho1 > /proc/sys/net/bridge/bridge-nf-call-iptablesecho1 > /proc/sys/net/ipv4/ip_forward安裝 kubelet kubeadm kubectl

安裝之前先配置 kubernetes 的 yum 源，創(chuàng)建文件/etc/yum.repos.d/kubernetes.repo 寫入下面內(nèi)容：

[kubernetes]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=0repo_gpgcheck=0

執(zhí)行 dnf 命令安裝：

dnfinstall -y kubelet kubeadm kubectl安裝 containerd

從 containerd release 頁面https://github.com/containerd/containerd/releases 下載最新 containerd 壓縮包，

需要使用迅雷下載（網(wǎng)頁直接下載，或者在 linux 使用 wget 都非常的慢），如果迅雷卡在正在連接資源多等一等，或者重復暫停，開始即可。

下載完成后，下載完成后通過 xftp 或者 winscp 或者 lrzsz 上傳至部署節(jié)點，并解壓至 /usr/local 目錄：

tar Cxzvf /usr/localcontainerd-1.6.8-linux-amd64.tar.gz

創(chuàng)建一個 systemctl 的 service 文件/usr/lib/systemd/system/containerd.service，寫入下面內(nèi)容：

[Unit]Description=containerd container runtimeDocumentation=https://containerd.ioAfter=network.target local-fs.target[Service]uncomment to enable the experimental sbservice (sandboxed) version of containerd/cri integrationEnvironment="ENABLE_CRI_SANDBOXES=sandboxed"ExecStartPre=-/sbin/modprobe overlayExecStart=/usr/local/bin/containerdType=notifyDelegate=yesKillMode=processRestart=alwaysRestartSec=5Having non-zero Limit*s causes performance problems due to accounting overheadin the kernel. We recommend using cgroups to do container-local accounting.LimitNPROC=infinityLimitCORE=infinityLimitNOFILE=infinityComment TasksMax if your systemd version does not supports it.Only systemd 226 and above support this version.TasksMax=infinityOOMScoreAdjust=-999[Install]WantedBy=multi-user.target

創(chuàng)建 containerd 配置文件/etc/containerd/config.toml，并填入以下內(nèi)容：

version=2[plugins."io.containerd.grpc.v1.cri"]sandbox_image="registry.aliyuncs.com/google_containers/pause:3.7"

這里重點就是設置 pause 容器的倉庫地址，默認的 gcr 倉庫在國內(nèi)是無法訪問的，然后執(zhí)行命令：

systemctldaemon-reloadsystemctlenable --now containerd安裝 runc

從 runc release 頁面https://github.com/opencontainers/runc/releases 下載最新 runc，同樣需要用迅雷下載

下載完成后執(zhí)行解壓命令：

install-m755runc.amd64 /usr/local/sbin/runc安裝 cni-plugin

同樣的使用迅雷從 github release 頁面下載https://github.com/containernetworking/plugins/releases，下載完成后執(zhí)行命令：

mkdir-p /opt/cni/bintarCxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.1.1.tgz初始化環(huán)境

在當前目錄創(chuàng)建一個 kubeadm-init-config.yaml 文件，填入以下內(nèi)容：

---apiVersion:kubeadm.k8s.io/v1beta3kind:InitConfigurationbootstrapTokens:-token:abcdef.0123456789abcdefttl:24h0m0slocalAPIEndpoint:advertiseAddress:192.168.26.132bindPort:6443nodeRegistration:criSocket:unix:///var/run/containerd/containerd.sockimagePullPolicy:IfNotPresenttaints:[]---apiVersion:kubeadm.k8s.io/v1beta3kind:ClusterConfigurationapiServer:timeoutForControlPlane:4m0scertificatesDir:/etc/kubernetes/pkiclusterName:kubernetescontrollerManager:{}dns:{}etcd:local:dataDir:/var/lib/etcdimageRepository:registry.aliyuncs.com/google_containerskubernetesVersion:1.24.3networking:dnsDomain:cluster.localserviceSubnet:10.96.0.0/12podSubnet:10.244.0.0/16scheduler:{}---apiVersion:kubelet.config.k8s.io/v1beta1kind:KubeletConfigurationfailSwapOn:falseaddress:0.0.0.0enableServer:truecgroupDriver:cgroupfs---apiVersion:kubeproxy.config.k8s.io/v1alpha1kind:KubeProxyConfigurationmode:ipvsipvs:strictARP:trueadvertiseAddress 根據(jù)實際情況調(diào)整，配置為本節(jié)點管理網(wǎng)網(wǎng)卡的 IP，在后面添加節(jié)點時，會通過這個 IP 添加kubernetesVersion 在我編寫本文檔時最新的 kubernetes 版本為 1.24.3imageRepository 這個時我們能在國內(nèi)環(huán)境安裝成功的關鍵，kubeadm 默認的容器鏡像倉庫在國外，我們是無法訪問的

執(zhí)行初始化命令：

kubeadminit--config kubeadm-init-config.yaml

初始化成功后會輸出以下提示：

Your Kubernetes control-plane has initialized successfully!
Tostartusingyour cluster, you needtorun thefollowingasa regularuser:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id-u):$(id-g) $HOME/.kube/config
Alternatively,ifyouarethe rootuser, you can run:exportKUBECONFIG=/etc/kubernetes/admin.conf
You shouldnowdeploy a pod networktothe cluster.
Run"kubectl apply -f [podnetwork].yaml"withoneofthe options listedat:
https://kubernetes.io/docs/concepts/cluster-administration/addons/Thenyou canjoinanynumberofworker nodesbyrunning thefollowingoneachasroot:
kubeadmjoin192.168.26.132:6443--token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:5ad131a9fc70400bf4f11d7cdbf0c0b9b43fe97604c0a4903fb85cabedca9ccf

根據(jù)提示執(zhí)行下面命令

mkdir-p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudochown$(id -u):$(id -g) $HOME/.kube/config

然后使用 kubectl 驗證：

kubectl get nodesNAMESTATUS ROLES AGE VERSIONnode1NotReady control-plane 2m49s v1.24.3

現(xiàn)在節(jié)點 STATUS 是 NotReady，這是因為沒有安裝網(wǎng)絡插件

安裝 flannel 網(wǎng)絡插件kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

安裝完成后在使用 kubelet 命令驗證：

kubectl get nodesNAMESTATUS ROLES AGE VERSIONnode1Ready control-plane 18m v1.24.3

這時候節(jié)點的 STATUS 變成 Ready 了