1. 目的和环境说明

目的：搭建一套拥有 ceph 集群并能直接用于开发、学习的高可用 kubernetes集群

虚拟机：3台每台硬件配置：cpu 2核及以上、内存 8G 及以上、硬盘 2 块（其中一块用于 ceph osd）每台虚拟机系统安装 CentOS7，除了 /boot 分区，其余空间均分配给根分区，要求虚拟机能访问互联网并正常解析域名。

工具： kubernetes：v1.23.1 helm：v3.8.0

charts： metallb：2.6.0 ingress-nginx：4.0.15 rook-ceph：v1.8.2 rook-ceph-cluster：v1.8.2 kubernetes-dashboard：5.1.1 kubeapps：7.7.1

2. 一键安装 kubernetes 集群

2.1 初始化集群

本人的一键安装集群脚本：https://github.com/ygqygq2/kubeadm-shell

3台虚拟机设置好hostname 和 hosts /etc/hosts

10.111.3.53 master1
10.111.3.54 master2
10.111.3.55 master3

设置 config.sh 如下：

在 master1 上执行 sh kubeadm_install_k8s.sh 脚本完成后，会自动创建 3 master 节点的高可用 kubernetes 集群。

2.2 安装 flannel 网络插件

这里使用 flannel 网络插件，当然你也可以选择其它网络插件。

mkdir -p /data/yaml
cd /data/yaml
wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

2.3 安装 helm 命令

cd /tmp
wget https://get.helm.sh/helm-v3.8.0-rc.1-linux-amd64.tar.gz
tar -zxvf helm-v3.8.0-rc.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/sbin/
chmod a+x /usr/local/sbin/helm

使用 helm repo add bitnami https://charts.bitnami.com/bitnami 等将以下 repo 添加好。

3. helm 安装各组件

3.1 阿里云申请用到的免费 ssl 证书

kubernetes dashboard 和 ceph dashboard 默认使用 https 方式访问，所以需要用到 ssl 证书，如修改成 http 方式（非安全）访问也可，本文不作这方面描述。申请好免费证书，并下载 nginx 格式证书文件

上传好证书文件并解压

将证书文件创建成 tls secret， kubectl create ns rook-ceph # 创建 rook-ceph 命名空间 kubectl create secret tls ceph.k8snb.com --cert 7133599_ceph.k8snb.com.pem --key 7133599_ceph.k8snb.com.key -n rook-ceph kubectl create secret tls dashboard.k8snb.com --cert 7123996_dashboard.k8snb.com.pem --key 7123996_dashboard.k8snb.com.key -n kube-system

3.2 安装 metallb

MetalLB is an open source, rock solid LoadBalancer. It handles the ServiceType: Loadbalancer，即提供一个内网负载均衡器，为 LoadBalancer 类型的 service 提供一个可访问的负载均衡 IP。

mkdir -p /data/helm
helm fetch --untar bitnami/metallb
cd metallb
mkdir kube-system  # 按目录区分安装的命名空间
rsync -avz values.yaml kube-system/

vim kube-system/values.yaml 修改配置按如下图配置一个负载均衡 ip 池：

安装

helm install metallb -n kube-system -f kube-system/values.yaml .

3.3 安装 ingress-nginx

这里使用官方 ingress-nginx。

cd /data/helm
helm fetch --untar ingress-nginx/ingress-nginx
cd ingress-nginx
mkdir kube-system
rsync -avz values.yaml kube-system/

vim kube-system/values.yaml 修改配置和镜像仓库（主要是国内访问不了谷歌镜像仓库）

安装

helm install ingress-nginx -n kube-system -f kube-system/values.yaml .

3.4 安装 rook-ceph

rook 不作过多介绍，你可以访问其官网查看：https://rook.io/docs/rook/v1.8/

cd /data/helm
helm fetch --untar rook/rook-ceph
cd rook-ceph
mkdir rook-ceph
rsync -avz values.yaml rook-ceph/

vim rook-ceph/values.yaml 修改配置和镜像仓库 github 上发现一个谷歌镜像同步到 docker hub的功能，在他这里提 issues，即可完成同步，然后按其说明，将仓库替换下就可以了。以下为我提的 issues，已经完成镜像同步，直接使用即可。

安装

helm install rook-ceph -n rook-ceph -f rook-ceph/values.yaml .

3.5 安装 rook-ceph-cluster

cd /data/helm
helm fetch --untar rook/rook-ceph-cluster
cd rook-ceph-cluster
mkdir rook-ceph
rsync -avz values.yaml rook-ceph/

vim rook-ceph/values.yaml 修改配置

安装

helm install rook-ceph-cluster -n rook-ceph -f rook-ceph/values.yaml .

进入 toolbox 修改 ceph dashboard admin 用户密码

kubectl get pod -n rook-ceph 查看 toolbox pod

kubectl exec -it toolbox的pod名 -n rook-ceph /bin/bash 进入 toolbox pod

修改 dashboard 用户密码

echo password > /tmp/p
ceph dashboard ac-user-set-password admin -i /tmp/p

添加域名解析或本地 hosts 都可。

现在即可通过浏览器登录 cpeh dashboard。

3.6 安装 kubernetes dashboard

cd /data/helm
helm fetch --untar kubernetes-dashboard/kubernetes-dashboard
cd kubernetes-dashboard
mkdir kube-sytem
rsync -avz values.yaml kube-system/

vim kube-system/values.yaml 修改配置

安装

helm install dashboard -n kube-system -f kube-system/values.yaml .

创建 k8s 集群访问帐号（这里为了方便学习，直接使用管理员），并获取登录 token

kubectl create serviceaccount admin -n kube-system
kubectl create clusterrolebinding admin --clusterrole=cluster-admin --serviceaccount=kube-system:admin
kubectl get secret -n kube-system|grep admin
kubectl describe secret 上面的secret名 -n kube-system  # token 即为登录 token

浏览器访问并登录

3.7 安装 kubeapps

cd /data/helm
helm fetch --untar bitnami/kubeapps
cd kubeapps
mkdir kubeapps
rsync -avz values.yaml kubeapps/

vim kubeapps/values.yaml 修改配置

安装

helm install kubeapps -n kubeapps -f kubeapps/values.yaml .

浏览器访问并登录