Kubernetes

Kubernetes

Инструкция по работе с kubernetes.

Подготовка

Нужны несколько машин (nodes), одна из которых будет мастером. Системные требования:

• 2GB ОЗУ или больше;
• 2 ядра процессора или больше;
• Все машины должны быть доступны по сети друг для друга;
• Все машины должны успешно разрешать имена hostname друг друга (через DNS или hosts);
• Своп должен быть выключен

Пакеты и сервисы

1. Нужно установить следующие пакеты:

   # apt-get install kubernetes1.28-kubeadm kubernetes1.28-kubelet kubernetes1.28-crio cri-tools1.28
   

   Вместо 1.28 можно указать любую доступную в репозитории версию. Список доступных пакетов можно посмотреть на сайте https://packages.altlinux.org/ru/search/?q=kubernetes

2. И запустить сервис crio, также рекомендуется активировать сервис kubelet, чтобы он запускался при перезагрузке хоста:

   # systemctl enable --now crio
   # systemctl enable kubelet
   

Разворачивание кластера

Подготовка

Отключите подкачку:

# swapoff -a

Разворачивание

1. На мастере нужно запустить одну из двух следующих команд для запуска кластера:
   • Для настройки сети с использованием Flannel:

     # kubeadm init --pod-network-cidr=10.244.0.0/16
     

     Для использования control plane образов на базе ALT вместо образов по умолчанию:

     # kubeadm init --pod-network-cidr=10.244.0.0/16 --kubernetes-version=1.28.14 --image-repository=registry.altlinux.org/p10
     

   • Для настройки сети с использованием Calico

     # kubeadm init --pod-network-cidr=192.168.0.0/16
     

     Для использования control plane образов на базе ALT вместо образов по умолчанию:

     # kubeadm init --pod-network-cidr=192.168.0.0/16 --kubernetes-version=1.28.14 --image-repository=registry.altlinux.org/p10
     

   Пояснение флагов:

   --pod-network-cidr=10.244.0.0/16 — внутренняя (разворачиваемая Kubernetes) сеть, данное значение рекомендуется оставить для правильной работы Flannel;

   --image-repository=registry.altlinux.org/p10 — переопределение реестра, откуда будут скачиваться control plane образы.

   --kubernetes-version=1.28.14 — использовать версию kubernetes 1.28.14 для компонентов control plane.

   В конце вывода будет строка вида:

   kubeadm join <ip адрес>:<порт> --token <токен> --discovery-token-ca-cert-hash sha256:<хэш>
   

2. Настройка kubernetes для работы от пользователя
   1. Создать каталог ~/.kube:

      $ mkdir ~/.kube
      

   2. Скопировать конфиг:

      # cp /etc/kubernetes/admin.conf /home/<пользователь>/.kube/config
      

   3. Изменить владельца конфига:

      # chown <пользователь>: /home/<пользователь>/.kube/config
      

3. После этого все остальные ноды нужно подключить к мастеру:

   # kubeadm join <ip адрес>:<порт> --token <токен> --discovery-token-ca-cert-hash sha256:<хэш>
   

   Проверить наличие нод можно так:

   $ kubectl get nodes -o wide
   

   Вывод примерно следующий:

   NAME     STATUS     ROLES           AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE      KERNEL-VERSION         CONTAINER-RUNTIME
   master   NotReady   control-plane   19m   v1.24.8   172.16.0.8    <none>        ALT Regular   5.15.90-std-def-alt1   cri-o://1.24.3
   node     NotReady   <none>          19m   v1.24.8   172.16.0.9    <none>        ALT Regular   5.15.90-std-def-alt1   cri-o://1.24.3
   

   Обратите внисание, что ноды находятся в состоянии NotReady. Они перейдут в состояние Ready после настройки сети.

4. Далее следует развернуть сеть. Для этого можно запустить один из следующих наборов команд:

   • Для Flannel:

   $ kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
   

   • Для Flannel с использованием образов на базе ALT:

   Манифесты находятся по адресу https://gitea.basealt.ru/alt/flannel-manifests/<платформа>.

   Где <платформа> на текущий момент (25.10.2024): sisyphus, p10, c10f2.

   Каждый каталог платформы содержит каталоги

    
   ├── <major>
   │   ├── <minor>
   │   │   └── <patch>
   │   │       └── kube-flannel.yml
   ...
   └── latest
       └── kube-flannel.yml
   

   Выберите для Вашей платформы (например sisyphus) установленной версии kubernetes необходимую версию flannel (например 0.25.7) и наберите команду разворачивания:

   $ kubectl apply -f https://gitea.basealt.ru/alt/flannel-manifests/raw/branch/main/sisyphus/0/25/7/kube-flannel.yml
   

   Для последних версий kubernetes можно использовать последнюю версию flannel (тег latest):

   $ kubectl apply -f https://gitea.basealt.ru/alt/flannel-manifests/raw/branch/main/sisyphus/latest/kube-flannel.yml
   

   • Для Calico:

   Перед запуском calico-манифестов перейдите в каталог /etc/cni/net.d/:

   # cd /etc/cni/net.d/
   

   и создайте файл 100-crio-bridge.conflist

   # cp 100-crio-bridge.conflist.sample 100-crio-bridge.conflist
   

   Запустите POD'ы из calico-манифестов:

   $ kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/master/manifests/tigera-operator.yaml
   

   $ kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/master/manifests/custom-resources.yaml
   

   Проверить, что всё работает можно так:

   $ kubectl get pods --namespace kube-system
   

   Вывод должен быть примерно таким:

   NAME                          READY     STATUS    RESTARTS   AGE
   coredns-78fcdf6894-6trk7      1/1       Running   0          2h
   coredns-78fcdf6894-nwt5l      1/1       Running   0          2h
   etcd-k8s                      1/1       Running   0          2h
   kube-apiserver-k8s            1/1       Running   0          2h
   kube-controller-manager-k8s   1/1       Running   0          2h
   kube-flannel-ds-894bt         1/1       Running   0          2h
   kube-flannel-ds-kbngw         1/1       Running   0          2h
   kube-flannel-ds-n7h45         1/1       Running   0          2h
   kube-flannel-ds-tz2rc         1/1       Running   0          2h
   kube-proxy-6f4lm              1/1       Running   0          2h
   kube-proxy-f92js              1/1       Running   0          2h
   kube-proxy-qkh54              1/1       Running   0          2h
   kube-proxy-szvlt              1/1       Running   0          2h
   kube-scheduler-k8s            1/1       Running   0          2h
   

Следует обратить внимание, что coredns находятся в состоянии Running. Количество kube-flannel и kube-proxy зависит от общего числа нод (в данном случае их четыре). Если coredns находится в состоянии "crashloopbackoff", то проверьте содержимое файла /etc/resolv.conf. Для каждой ноды в резолвере должны быть указаны реальные адреса (например 192.168.3.30, при развертывании в локальной сети на виртуальных машинах)

Тестовый запуск nginx

1. Для начала создадим Deployment:

   $ kubectl apply -f https://k8s.io/examples/application/deployment.yaml
   

2. Затем создадим сервис, с помощью которого можно получить доступ к нашему приложению из внешней сети. Сохраним в файл nginx-service.yaml следующую кофигурацию:

   apiVersion: v1
   kind: Service
   metadata:
     name: nginx
     labels:
       app: nginx
   spec:
     type: NodePort
     ports:
     - port: 80
       targetPort: 80
     selector:
       app: nginx
   

3. Запустим новый сервис:

   $ kubectl apply -f nginx-service.yaml
   

4. Теперь можно узнать его порт:

   $ kubectl get svc nginx
   

   Возможный вывод:

   NAME      TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
   nginx     NodePort   10.108.199.141   <none>        80:32336/TCP   4h
   

5. Проверим, что всё работает:

   $ curl <ip адрес>:<порт>
   

   где

   ip адрес - это адрес любой из нод (не мастера), а порт - это порт сервиса, полученный с помощью предыдущей команды. Если использовать данные из примеров, то возможная команда: curl 10.10.3.120:32336.

Обновление

CRI-O

При использовании cri-o следует обратить внимание на то, что до версии cri-o 1.30 по умолчанию использовался runc в качестве рантайма. В версии cri-o 1.31 апстрим сменил рантайм по умолчанию на crun.

Если конфигурационный файл /etc/crio/crio.conf не менялся после установки пакета версий до 1.30, то по умолчанию используется runc, и данные рантайма хранятся в /run/runc, а после обновления с 1.30 до 1.31 теперь по умолчанию используется crun и данные ожидаются в /run/crun.

Для избежания проблем с запуском сервиса cri-o следует перед обновлением зафиксировать желаемый райнтайм в конфигурационном файле /etc/crio/crio.conf. Достаточно раскомментировать строку с установкой рантайма по умолчанию.

...
default_runtime = "runc"
...

см. altbug #53963