あさのひとりごと

3日坊主にならないように、全力を尽くします。 記事は個人のひとりごとです。所属する組織の意見を代表するほど、仕事熱心じゃないです。

自宅PCクラスタのKubernetesを1.9にバージョンアップしたログ

我が家の自宅PCクラスタ自宅並列計算機のOSがUbuntu16.04だったので、更新しました。

そのログです。

Kubernetesクラスタの構築にはkubeadmを使いました。kubeadmはkubernetes をデプロイするためのツールですが、現状まだベータリリースです。 Masterノードで動かすetcdなどを設定をDocker Swarmのような簡単さでやってくれます。

環境

次の環境でKubernetesクラスタを構築します。

  • Ubuntu 17.10
  • Kubernetes 1.9.0
  • Docker 17.09

アプリはすべてDockerで動かすという方針ですが 動作確認は

  • OpenFOAM on Docker

でおこないました。

Kubernetesクラスタ構築

OSインストール

まず、Ubuntuを17.10(Artful Aardvark)にします。

# cat /etc/os-release
NAME="Ubuntu"
VERSION="17.10 (Artful Aardvark)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 17.10"
VERSION_ID="17.10"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=artful
UBUNTU_CODENAME=artful

Dockerのインストール

次のコマンドを実行してDockerをインストールします。

# apt-get update
# apt-get install apt-transport-https ca-certificates curl software-properties-common
# curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#  apt-key fingerprint 0EBFCD88

# add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu artful stable"

# apt-get update
# apt-get install docker-ce

確認します。

# docker info
~中略~
Server Version: 17.09.1-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 
~中略~
Operating System: Ubuntu 17.10
OSType: linux
Architecture: x86_64

DockerCE 17.09がインストールできます。

Kubernetesのインストール

次のコマンドを実行してKubernetesをインストールします。

# apt-get update && apt-get install -y apt-transport-https
# curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
# cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF

# apt-get update
# apt-get install -y kubelet kubeadm kubectl

これで、Kubernetes1.9.0がインストールできます。

Kubernetesの設定

以下で議論されているように、kubernetes1.8.0以降ではkubeadmで環境を構成するときエラーとなります。 github.com

そこで、/etc/systemd/system/kubelet.service.d/90-local-extras.confに以下を設定します。 kubeletの起動オプションでfail-swap-onフラグをfalseにします。 あと、kubeletのcgroupドライバをDockerにあわせてsystemdにしておきます。

Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"

なぜ、これをやるかというとKubernetes1.8.0でノードのSwapが有効な場合、kubelet が起動しないよう変更になったためです。swap を有効にして起動するときは、--fail-swap-on=false フラグを付加する必要があります。

こちらで話題になっています。 github.com

ここまでの手順を、MasterノードおよびWorkerノードで行います。

kubeadmでクラスタ作成

次のコマンドを実行して、MasterノードでKubernetesクラスタを作成します。 仮想ネットワークはFlannelをつかいます。

ログを確認すると、kubeadmが中でなにをやっているかがわかるとおもいます。

# sudo kubeadm init --pod-network-cidr=10.244.0.0/16
[init] Using Kubernetes version: v1.9.0
[init] Using Authorization modes: [Node RBAC]
[preflight] Running pre-flight checks.
        [WARNING SystemVerification]: docker version is greater than the most recently validated version. Docker version: 17.09.1-ce. Max validated version: 17.03
        [WARNING FileExisting-crictl]: crictl not found in system path
[preflight] Starting the kubelet service
[certificates] Generated ca certificate and key.
[certificates] Generated apiserver certificate and key.
[certificates] apiserver serving cert is signed for DNS names [pcmaster kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.1.100]
[certificates] Generated apiserver-kubelet-client certificate and key.
[certificates] Generated sa key and public key.
[certificates] Generated front-proxy-ca certificate and key.
[certificates] Generated front-proxy-client certificate and key.
[certificates] Valid certificates and keys now exist in "/etc/kubernetes/pki"
[kubeconfig] Wrote KubeConfig file to disk: "admin.conf"
[kubeconfig] Wrote KubeConfig file to disk: "kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "controller-manager.conf"
[kubeconfig] Wrote KubeConfig file to disk: "scheduler.conf"
[controlplane] Wrote Static Pod manifest for component kube-apiserver to "/etc/kubernetes/manifests/kube-apiserver.yaml"
[controlplane] Wrote Static Pod manifest for component kube-controller-manager to "/etc/kubernetes/manifests/kube-controller-manager.yaml"
[controlplane] Wrote Static Pod manifest for component kube-scheduler to "/etc/kubernetes/manifests/kube-scheduler.yaml"
[etcd] Wrote Static Pod manifest for a local etcd instance to "/etc/kubernetes/manifests/etcd.yaml"
[init] Waiting for the kubelet to boot up the control plane as Static Pods from directory "/etc/kubernetes/manifests".
[init] This might take a minute or longer if the control plane images have to be pulled.
[apiclient] All control plane components are healthy after 35.502655 seconds
[uploadconfig] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[markmaster] Will mark node pcmaster as master by adding a label and a taint
[markmaster] Master pcmaster tainted and labelled with key/value: node-role.kubernetes.io/master=""
[bootstraptoken] Using token: f6c541.c662a40901c4d5f3
[bootstraptoken] Configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstraptoken] Configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstraptoken] Configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstraptoken] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: kube-dns
[addons] Applied essential addon: kube-proxy

Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

You can now join any number of machines by running the following on each node
as root:

  kubeadm join --token f6c541.c662a40901c4d5f3 192.168.1.100:6443 --discovery-token-ca-cert-hash sha256:29d***************************58df0d08d9e

ここで、最後にWorkerノードがKubernetesクラスタにJoinするときのコマンドが表示されますので、ひかえておきます。

#  kubeadm join --token f6c541.c662a40901c4d5f3 192.168.1.100:6443 --discovery-token-ca-cert-hash sha256:29d***************************58df0d08d9e

ちなみにkubeadmをリセットするときは次のコマンドで。

# kubeadm reset

以下のコマンドでFlannelをデプロイします。

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml
clusterrole "flannel" created
clusterrolebinding "flannel" created
serviceaccount "flannel" created
configmap "kube-flannel-cfg" created
daemonset "kube-flannel-ds" created

これで、Masterノードのセットアップが完了しました。 バージョンやクラスタの構成を確認しておきます。

$  kubectl version
Client Version: version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.0", GitCommit:"925c127ec6b946659ad0fd596fa959be43f0cc05", GitTreeState:"clean", BuildDate:"2017-12-15T21:07:38Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.0", GitCommit:"925c127ec6b946659ad0fd596fa959be43f0cc05", GitTreeState:"clean", BuildDate:"2017-12-15T20:55:30Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}

$ kubectl get node
NAME       STATUS    ROLES     AGE       VERSION
pcmaster   Ready     master    4m        v1.9.0

Nodeの参加

クラスタが構築できたので、Workerノードを参加させます。 Workerノードで、Masterノードでクラスタ構築時に生成されたkubeadm joinコマンドを実行します。

簡単ですね。 Docker Swarmと同じ感じです。

kubeadm join --token f6c541.c662a40901c4d5f3 192.168.1.100:6443 --discovery-token-ca-cert-hash sha256:29dce90e3679eaf201af51160aa6996ac2dd9d0b4bfa9c1096b2858df0d08d9e

動作確認その他

我が家には2系統のクラスタがあって、古いPCをあつめてつくったPCクラスタと、Raspberry Pi3をつかったラズパイクラスタがあります。 ラズパイクラスタは完全にネタなのですが、今回のPCクラスタのほうは、どちらも、どれぐらい計算時間がかかるかわからないが、たいして急いでもないので、クラウドで課金したくない!ジョブを投入するために使っています。

ということで OpenFOAMで、chtMultiRegionSimpleFoamソルバーのheatExchangerを解いてみました。 乱流モデルはRASModel/kEpsilonで、熱交換器内部流れと外部の空気流れを連成して計算しています。

OpenFOAM5.0のDockerイメージはこちらで。

f:id:dr_asa:20171219093832p:plain

ParaViewでの可視化は、基本的人権を満たした程度のノートPCではただただ辛い。

サンタさん!Microsoft Surface Book 2 の最上位モデルを私に!!!

© 2017 ASA.