Multus CNI 연동
- 인쇄
- PDF
Multus CNI 연동
- 인쇄
- PDF
Article Summary
Share feedback
Thanks for sharing your feedback!
이 가이드는 Multus CNI를 사용해 다중 네트워크 인터페이스를 가지는 Pod을 생성하는 방법을 설명합니다.
Multus CNI 소개
- Multus CNI는 CNI 플러그인으로 단일 Pod에 여러 네트워크 인터페이스를 연결하고 각각 다른 주소 범위로 연결지을 수 있는 고급 네트워크 구성 기능을 제공합니다.
- Kubernetes에서 각 Pod은 기본적으로 Loopback 외에 하나의 네트워크 인터페이스만 가지고 있습니다. Multus CNI를 이용하면 여러 인터페이스가 있는 Multi-Home Pod를 만들 수 있습니다.
- Multus CNI는 다른 CNI 플러그인을 호출할 수 있는 일종의 메타 플러그인 역할을 합니다. 따라서 Multus CNI와 연동될 다른 CNI를 필요로합니다.
- Multus CNI 에 대한 더 자세한 설명은 Multus CNI 저장소를 참고해 주십시오.
Multus CNI 설치
아래 명령을 통해 Cilium CNI의 CNI-Exclusive 모드를 비활성화해 주십시오.
kubectl patch daemonset cilium -n kube-system --type='json' -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/lifecycle/postStart/exec/command/2", "value": "--cni-exclusive=false"}]'Multus CNI의 Github 저장소를 복제한 후 Daemonset를 설치해 주십시오.
git clone https://github.com/k8snetworkplumbingwg/multus-cni.git && cd multus-cni cat ./deployments/multus-daemonset.yml | kubectl apply -f -- Multus Daemonset 은 각 워커 노드에서 Multus 의 실행 파일을
/opt/cni/bin위치에 배치합니다. 그리고 CNI 의 구성을 위한/etc/cni/net.d/00-multus.conf설정 파일을 생성합니다. kubectl get pods --all-namespaces | grep -i multus를 통해 각 노드에 Multus Pod 이 성공적으로 실행되었는지 확인할 수 있습니다.- Multus CNI 를 통해 연동될 ipvlan 을 워커 노드에 다운로드합니다.
root@afaf-w-1vhl:~# curl -L https://github.com/containernetworking/plugins/releases/download/v1.2.0/cni-plugins-linux-amd64-v1.2.0.tgz | tar zx -C /opt/cni/bin ./host-local ./ipvlan- Multus Daemonset 은 각 워커 노드에서 Multus 의 실행 파일을
추가 인터페이스 생성해 주십시오.
- Network Interface 가이드를 참고해 네트워크 인터페이스를 생성한 뒤에 워커 노드에 할당합니다.
- 생성된 인터페이스에 Secondary IP를 할당합니다. 이 때 Secondary IP는 연속된 IP 들로 구성되어야 합니다.
- 아래와 같이 eth1 인터페이스가 성공적으로 생성되었는지 확인할 수 있습니다.
root@afaf-w-1vhl:~# ip a ... 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc mq state UP group default qlen 1000 link/ether f2:20:af:24:62:41 brd ff:ff:ff:ff:ff:ff inet 192.168.1.104/26 brd 192.168.1.127 scope global eth0 valid_lft forever preferred_lft forever 1304: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000 link/ether f2:20:af:a6:0a:e2 brd ff:ff:ff:ff:ff:ff inet 192.168.0.12/24 brd 192.168.0.255 scope global eth1 valid_lft forever preferred_lft foreverNetwork Attachment Definition CRD를 생성해 주십시오.
- Pod 에서 사용할 추가 ipvaln 인터페이스를 위한 설정을 제공하기 위해 Network Attachment Definition 을 생성합니다. Network Attachment Definition은 네트워크를 Pod 에 연결하는 방법을 정의하는 Custom Resource Definition입니다.
- 아래와 같이 ipvlan을 사용하기 위한 설정을 생성합니다.
apiVersion: "k8s.cni.cncf.io/v1" kind: NetworkAttachmentDefinition metadata: name: ipvlan-conf-1 spec: config: '{ "cniVersion": "0.3.0", "type": "ipvlan", "master": "eth1", "mode": "l3", "ipam": { "type": "host-local", "subnet": "192.168.1.0/24", "rangeStart": "192.168.1.13", "rangeEnd": "192.168.1.17", "gateway": "192.168.1.1" } }'
- rangeStart, rangeEnd 를 이용해 앞에서 인터페이스에 할당된 Secondary IP 대역을 지정합니다.
kubectl get network-attachment-definitions를 통해 생성된 설정을 확인할 수 있습니다.- 본 예제에서 사용된 host-local ipam 은 노드 단위로 IP 풀을 관리합니다. 전체 클러스터 범위의 IP 풀이 필요한 경우 whereabouts ipam 을 사용해야 합니다.
Multus CNI 연동
추가 인터페이스를 사용하는 Pod 생성해 주십시오.
- 이제 추가 인터페이스를 사용하는 Pod 을 생성할 수 있습니다. 사용할 추가 인터페이스는
k8s.v1.cni.cncf.io/networksannotation 을 통해 지정할 수 있습니다. 해당 필드에 지정되는 이름은 앞서 생성한 Network Attachment Definition의 이름입니다. - 만약 다수의 인터페이스를 연결하고자 한다면 이 annotation에 쉼표를 구분자로 여러 네트워크 설정을 지정합니다.
apiVersion: v1 kind: Pod metadata: name: sampleapp-1 annotations: k8s.v1.cni.cncf.io/networks: ipvlan-conf-1 spec: containers: - name: multitool command: ["sh", "-c", "trap : TERM INT; sleep infinity & wait"] image: praqma/network-multitool --- apiVersion: v1 kind: Pod metadata: name: sampleapp-2 annotations: k8s.v1.cni.cncf.io/networks: ipvlan-conf-1 spec: containers: - name: multitool command: ["sh", "-c", "trap : TERM INT; sleep infinity & wait"] image: praqma/network-multitool- 이제 추가 인터페이스를 사용하는 Pod 을 생성할 수 있습니다. 사용할 추가 인터페이스는
추가 인터페이스를 확인해 주십시오.
kubectl describe pod sampleapp-1을 통해k8s.v1.cni.cncf.io/network-statusannotation 이 모든 네트워크 인터페이스를 표시하는지 확인합니다.
$ kubectl describe pod sampleapp-1 Name: sampleapp-1 Namespace: default Priority: 0 Node: afaf-w-293f/192.168.1.104 Start Time: Mon, 06 Feb 2023 16:18:38 +0900 Labels: <none> Annotations: k8s.v1.cni.cncf.io/networks: ipvlan-conf-1 k8s.v1.cni.cncf.io/networks-status: [{ "name": "cilium", "interface": "eth0", "ips": [ "198.18.1.173" ], "mac": "12:7d:62:5b:2e:57", "default": true, "dns": {} },{ "name": "default/ipvlan-conf-1", "interface": "net1", "ips": [ "192.168.1.13" ], "mac": "f2:20:af:a6:0a:e2", "dns": {} }]- 실제로 Pod 에 연결된 추가 인터페이스 (
net1)가 위에 나열된 IP 로 실행 중인지 확인합니다.
$ kubectl exec -it sampleapp-1 -- ip a ... 2: net1@if1304: <BROADCAST,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default link/ether f2:20:af:a6:0a:e2 brd ff:ff:ff:ff:ff:ff inet 192.168.1.13/24 brd 192.168.1.255 scope global net1 valid_lft forever preferred_lft forever 1975: eth0@if1976: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc noqueue state UP group default link/ether 12:7d:62:5b:2e:57 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 198.18.1.173/32 scope global eth0 valid_lft forever preferred_lft forever- 추가된
net1인터페이스에 대한 라우팅 정보와 통신 가능 여부를 확인합니다.
# kubectl exec -it sampleapp-1 -- route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 198.18.1.209 0.0.0.0 UG 0 0 0 eth0 192.168.1.0 0.0.0.0 255.255.255.0 U 0 0 0 net1 198.18.1.209 0.0.0.0 255.255.255.255 UH 0 0 0 eth0 # kubectl exec -it sampleapp-1 -- ping -I net1 192.168.1.14 PING 192.168.1.14 (192.168.1.14) from 192.18.1.13 net1: 56(84) bytes of data. 64 bytes from 192.168.1.14: icmp_seq=1 ttl=64 time=0.055 ms 64 bytes from 192.168.1.14: icmp_seq=2 ttl=64 time=0.055 ms
주의
수동으로 추가된 Network Interface는 새로 증설되는 워커 노드에는 적용되지 않습니다. 또한 노드 풀 변경 과정에서 추가 Network Interface가 할당된 워커 노드에 제거될 경우 기존에 운영중인 Pod에 영향이 있을 수 있습니다.
이 문서가 도움이 되었습니까?