AWS_VPC_K8S_CNI_EXTERNALSNATの挙動を確認する

AWS_VPC_K8S_CNI_EXTERNALSNATの理解に苦しんだので、確認したメモ。

• https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/external-snat.html
• https://github.com/aws/amazon-vpc-cni-k8s#aws_vpc_k8s_cni_externalsnat

コンポーネント	バージョン
EKS	1.21
プラットフォームバージョン	eks.3
eksctl	0.75.0
aws-node	v1.7.5-eksbuild.1

クラスターの作成

1.21でクラスターを作成する。ノードなしで作成する。

CLUSTER_NAME="externalsnat"
cat << EOF > cluster.yaml
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: ${CLUSTER_NAME}
  region: ap-northeast-1
  version: "1.21"
vpc:
  cidr: "10.0.0.0/16"

availabilityZones:
  - ap-northeast-1a
  - ap-northeast-1c

cloudWatch:
  clusterLogging:
    enableTypes: ["*"]

iam:
  withOIDC: true
EOF

eksctl create cluster -f cluster.yaml

ノードを作成する。

CLUSTER_NAME="externalsnat"
cat << EOF > managed-ng-1.yaml
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: ${CLUSTER_NAME}
  region: ap-northeast-1

managedNodeGroups:
  - name: managed-ng-1
    minSize: 1
    maxSize: 1
    desiredCapacity: 1
    privateNetworking: true
    iam:
      attachPolicyARNs:
        - arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy
        - arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryReadOnly
        - arn:aws:iam::aws:policy/AmazonSSMManagedInstanceCore
EOF

eksctl create nodegroup -f managed-ng-1.yaml

Adminロールにも権限をつけておく。

CLUSTER_NAME="externalsnat"
USER_NAME="Admin:{{SessionName}}"
AWS_ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)
ROLE_ARN="arn:aws:iam::${AWS_ACCOUNT_ID}:role/Admin"
eksctl create iamidentitymapping --cluster ${CLUSTER_NAME} --arn ${ROLE_ARN} --username ${USER_NAME} --group system:masters

aws-nodeのバージョンはv1.7.5で、AWS_VPC_K8S_CNI_EXTERNALSNATはfalseになっている。

$ k -n kube-system get ds aws-node -o yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
（省略）
  name: aws-node
  namespace: kube-system
（省略）
spec:
（省略）
  template:
（省略）
    spec:
（省略）
      containers:
      - env:
        - name: ADDITIONAL_ENI_TAGS
          value: '{}'
        - name: AWS_VPC_CNI_NODE_PORT_SUPPORT
          value: "true"
        - name: AWS_VPC_ENI_MTU
          value: "9001"
        - name: AWS_VPC_K8S_CNI_CONFIGURE_RPFILTER
          value: "false"
        - name: AWS_VPC_K8S_CNI_CUSTOM_NETWORK_CFG
          value: "false"
        - name: AWS_VPC_K8S_CNI_EXTERNALSNAT
          value: "false"
        - name: AWS_VPC_K8S_CNI_LOGLEVEL
          value: DEBUG
        - name: AWS_VPC_K8S_CNI_LOG_FILE
          value: /host/var/log/aws-routed-eni/ipamd.log
        - name: AWS_VPC_K8S_CNI_RANDOMIZESNAT
          value: prng
        - name: AWS_VPC_K8S_CNI_VETHPREFIX
          value: eni
        - name: AWS_VPC_K8S_PLUGIN_LOG_FILE
          value: /var/log/aws-routed-eni/plugin.log
        - name: AWS_VPC_K8S_PLUGIN_LOG_LEVEL
          value: DEBUG
        - name: DISABLE_INTROSPECTION
          value: "false"
        - name: DISABLE_METRICS
          value: "false"
        - name: ENABLE_POD_ENI
          value: "false"
        - name: MY_NODE_NAME
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: spec.nodeName
        - name: WARM_ENI_TARGET
          value: "1"
        image: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni:v1.7.5-eksbuild.1
        imagePullPolicy: Always
        livenessProbe:
          exec:
            command:
            - /app/grpc-health-probe
            - -addr=:50051
          failureThreshold: 3
          initialDelaySeconds: 60
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 1
        name: aws-node
（省略）

検証準備

クラスターを作成したVPC-A内にテスト用のインスタンスA（10.0.64.94）を立てる。

VPC-Bを作成してVPCピアリングをして、インスタンスB（10.1.1.235）を立てる。

セキュリティグループを注意して設定する。

詳細は省略。

検証

まずインスタンスAとインスタンスBからワーカーノードに接続できることを確認する。

ノードを確認する。

$ k get node -o wide
NAME                                              STATUS   ROLES    AGE   VERSION               INTERNAL-IP    EXTERNAL-IP   OS-IMAGE         KERNEL-VERSION                CONTAINER-RUNTIME
ip-10-0-120-188.ap-northeast-1.compute.internal   Ready    <none>   57m   v1.21.5-eks-bc4871b   10.0.120.188   <none>        Amazon Linux 2   5.4.156-83.273.amzn2.x86_64   docker://20.10.7

インスタンスAからワーカーノード（10.0.120.188）にpingとSSHをしてみる。接続できる。

[root@ip-10-0-64-94 ~]# ping 10.0.120.188
PING 10.0.120.188 (10.0.120.188) 56(84) bytes of data.
64 bytes from 10.0.120.188: icmp_seq=1 ttl=255 time=1.59 ms
64 bytes from 10.0.120.188: icmp_seq=2 ttl=255 time=1.62 ms
^C
--- 10.0.120.188 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 1.597/1.610/1.623/0.013 ms
[root@ip-10-0-64-94 ~]# ssh 10.0.120.188
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
[root@ip-10-0-64-94 ~]#

インスタンスBから同じことを試す。接続できる。

[root@ip-10-1-1-235 ~]# ping 10.0.120.188
PING 10.0.120.188 (10.0.120.188) 56(84) bytes of data.
64 bytes from 10.0.120.188: icmp_seq=1 ttl=255 time=0.948 ms
64 bytes from 10.0.120.188: icmp_seq=2 ttl=255 time=0.941 ms
64 bytes from 10.0.120.188: icmp_seq=3 ttl=255 time=0.954 ms
^C
--- 10.0.120.188 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.941/0.947/0.954/0.035 ms
[root@ip-10-1-1-235 ~]# ssh 10.0.120.188
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
[root@ip-10-1-1-235 ~]#

AWS_VPC_K8S_CNI_EXTERNALSNAT=false

NginxのPodを実行する。

$ k create deployment nginx --image=nginx --port 80
deployment.apps/nginx created
$ k get po -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP             NODE                                              NOMINATED NODE   READINESS GATES
nginx-7848d4b86f-h6p6v   1/1     Running   0          18s   10.0.102.179   ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>

インスタンスAからPod（10.0.102.179）にpingとcurlをしてみる。接続できる。

[root@ip-10-0-64-94 ~]# ping 10.0.102.179
PING 10.0.102.179 (10.0.102.179) 56(84) bytes of data.
64 bytes from 10.0.102.179: icmp_seq=1 ttl=254 time=1.60 ms
64 bytes from 10.0.102.179: icmp_seq=2 ttl=254 time=1.63 ms
64 bytes from 10.0.102.179: icmp_seq=3 ttl=254 time=1.61 ms
^C
--- 10.0.102.179 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 1.609/1.619/1.632/0.034 ms
[root@ip-10-0-64-94 ~]# curl http://10.0.102.179
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-0-64-94 ~]#

インスタンスBから同じことを試す。接続できる。

[root@ip-10-1-1-235 ~]# ping 10.0.102.179
PING 10.0.102.179 (10.0.102.179) 56(84) bytes of data.
64 bytes from 10.0.102.179: icmp_seq=1 ttl=254 time=0.974 ms
64 bytes from 10.0.102.179: icmp_seq=2 ttl=254 time=0.966 ms
64 bytes from 10.0.102.179: icmp_seq=3 ttl=254 time=0.955 ms
^C
--- 10.0.102.179 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.955/0.965/0.974/0.007 ms
[root@ip-10-1-1-235 ~]# curl http://10.0.102.179
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-1-1-235 ~]#

VPC-Bからだと繋がらないのではと予想していたので、予想と違った。このケースでは、PodのIPの10.0.102.179はプライマリーENI（eth0）のセカンダリーIPを使っていた。

セカンダリーENIのIPを使うPodで試したいので、Podをスケールさせる。

$ k scale deploy nginx --replicas=5
deployment.apps/nginx scaled
$ k get po -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP             NODE                                              NOMINATED NODE   READINESS GATES
nginx-7848d4b86f-7b599   1/1     Running   0          5s    10.0.97.245    ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>
nginx-7848d4b86f-c7v5d   1/1     Running   0          5s    10.0.113.95    ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>
nginx-7848d4b86f-kl68s   1/1     Running   0          5s    10.0.102.179   ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>
nginx-7848d4b86f-mgwcz   1/1     Running   0          5s    10.0.101.9     ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>
nginx-7848d4b86f-rfmjt   1/1     Running   0          41s   10.0.100.168   ip-10-0-120-188.ap-northeast-1.compute.internal   <none>           <none>

10.0.97.245がセカンダリーENIのセカンダリーIPであることを確認する。このIPを使っているPodに対して先ほどを同じことを試す。

インスタンスAからは接続できる。

[root@ip-10-0-64-94 ~]# ping 10.0.97.245
PING 10.0.97.245 (10.0.97.245) 56(84) bytes of data.
64 bytes from 10.0.97.245: icmp_seq=1 ttl=254 time=2.46 ms
64 bytes from 10.0.97.245: icmp_seq=2 ttl=254 time=1.65 ms
64 bytes from 10.0.97.245: icmp_seq=3 ttl=254 time=1.64 ms
^C
--- 10.0.97.245 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 1.642/1.921/2.467/0.386 ms
[root@ip-10-0-64-94 ~]# curl http://10.0.97.245
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-0-64-94 ~]#

インスタンスBからは接続できない！

[root@ip-10-1-1-235 ~]# ping 10.0.97.24
PING 10.0.97.24 (10.0.97.24) 56(84) bytes of data.
^C
--- 10.0.97.24 ping statistics ---
9 packets transmitted, 0 received, 100% packet loss, time 8190ms

[root@ip-10-1-1-235 ~]# curl http://10.0.97.24
^C
[root@ip-10-1-1-235 ~]#

PodがSYNが受け取れないのか、あるいは応答のパケットがドロップされてしまうのか、よくわからないがとにかく受け取れない。

逆向きの接続を確認する。

eth0で動作しているPod（10.0.102.179）に入り、sshをインストールする。

k exec -it nginx-7848d4b86f-kl68s -- bash
apt-get update
apt-get install -y ssh

インスタンスA（10.0.64.94）とインスタンスB（10.1.1.235）に接続できるか試す。接続できる。

root@nginx-7848d4b86f-kl68s:/# ssh 10.0.64.94
The authenticity of host '10.0.64.94 (10.0.64.94)' can't be established.
ECDSA key fingerprint is SHA256:jXESh6EUOBjg4lUkLMXAKqNR5b2isnIVGb5q7cYyfDM.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '10.0.64.94' (ECDSA) to the list of known hosts.
root@10.0.64.94: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-kl68s:/# ssh 10.1.1.235
The authenticity of host '10.1.1.235 (10.1.1.235)' can't be established.
ECDSA key fingerprint is SHA256:WHQiCxG2mqCvMLe0WmHaWkB6WzRLsyXpcgbeEoZ0xDc.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '10.1.1.235' (ECDSA) to the list of known hosts.
root@10.1.1.235: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-kl68s:/#

インスタンスAの/var/log/secureを確認する。PodのIPからきている。

Dec  2 06:43:41 ip-10-0-64-94 sshd[31718]: Connection closed by 10.0.102.179 port 44918 [preauth]

インスタンスBの/var/log/secureを確認する。ノードのIPからきている。つまりSNATされている。

Dec  2 06:43:16 ip-10-1-1-235 sshd[31625]: Connection closed by 10.0.120.188 port 29262 [preauth]

eth1で動作しているPod（10.0.97.245）に入り、sshをインストールする。

k exec -it nginx-7848d4b86f-7b599 -- bash
apt-get update
apt-get install -y ssh

インスタンスA（10.0.64.94）とインスタンスB（10.1.1.235）に接続できるか試す。接続できる。

root@nginx-7848d4b86f-7b599:/# ssh 10.0.64.94
The authenticity of host '10.0.64.94 (10.0.64.94)' can't be established.
ECDSA key fingerprint is SHA256:jXESh6EUOBjg4lUkLMXAKqNR5b2isnIVGb5q7cYyfDM.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '10.0.64.94' (ECDSA) to the list of known hosts.
root@10.0.64.94: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-7b599:/# ssh 10.1.1.235
The authenticity of host '10.1.1.235 (10.1.1.235)' can't be established.
ECDSA key fingerprint is SHA256:WHQiCxG2mqCvMLe0WmHaWkB6WzRLsyXpcgbeEoZ0xDc.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '10.1.1.235' (ECDSA) to the list of known hosts.
root@10.1.1.235: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-7b599:/#

インスタンスAの/var/log/secureを確認する。PodのIPからきている。

Dec  2 07:02:37 ip-10-0-64-94 sshd[31806]: Connection closed by 10.0.97.245 port 37228 [preauth]

インスタンスBの/var/log/secureを確認する。ノードのIPからきている。つまりSNATされている。

Dec  2 07:02:45 ip-10-1-1-235 sshd[31720]: Connection closed by 10.0.120.188 port 23626 [preauth]

AWS_VPC_K8S_CNI_EXTERNALSNAT=true

設定を変更する。

kubectl set env daemonset -n kube-system aws-node AWS_VPC_K8S_CNI_EXTERNALSNAT=true

aws-nodeが再起動されたことを確認する。

$ k get po -n kube-system
NAME                       READY   STATUS    RESTARTS   AGE
aws-node-qxdx4             1/1     Running   0          24s
coredns-76f4967988-85t4h   1/1     Running   0          133m
coredns-76f4967988-cmtl7   1/1     Running   0          133m
kube-proxy-b5lq5           1/1     Running   0          120m

インスタンスAからeth0で稼働するPodにpingとcurlをしてみる。接続できる。

[root@ip-10-0-64-94 ~]# ping 10.0.102.179
PING 10.0.102.179 (10.0.102.179) 56(84) bytes of data.
64 bytes from 10.0.102.179: icmp_seq=1 ttl=254 time=1.62 ms
64 bytes from 10.0.102.179: icmp_seq=2 ttl=254 time=1.59 ms
64 bytes from 10.0.102.179: icmp_seq=3 ttl=254 time=1.59 ms
^C
--- 10.0.102.179 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 1.593/1.602/1.620/0.012 ms
[root@ip-10-0-64-94 ~]# curl http://10.0.102.179
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-0-64-94 ~]#

インスタンスBから同じことを試す。接続できる。

[root@ip-10-1-1-235 ~]# ping 10.0.102.179
PING 10.0.102.179 (10.0.102.179) 56(84) bytes of data.
64 bytes from 10.0.102.179: icmp_seq=1 ttl=254 time=0.971 ms
64 bytes from 10.0.102.179: icmp_seq=2 ttl=254 time=0.971 ms
64 bytes from 10.0.102.179: icmp_seq=3 ttl=254 time=0.960 ms
^C
--- 10.0.102.179 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.960/0.967/0.971/0.025 ms
[root@ip-10-1-1-235 ~]# curl http://10.0.102.179
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-1-1-235 ~]#

インスタンスAからeth1で稼働するPodにpingとcurlをしてみる。接続できる。

[root@ip-10-0-64-94 ~]# ping 10.0.97.245
PING 10.0.97.245 (10.0.97.245) 56(84) bytes of data.
64 bytes from 10.0.97.245: icmp_seq=1 ttl=254 time=1.66 ms
64 bytes from 10.0.97.245: icmp_seq=2 ttl=254 time=1.60 ms
64 bytes from 10.0.97.245: icmp_seq=3 ttl=254 time=1.61 ms
^C
--- 10.0.97.245 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 1.607/1.626/1.662/0.052 ms
[root@ip-10-0-64-94 ~]# curl http://10.0.97.245
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-0-64-94 ~]#

インスタンスBから同じことを試す。接続できるようになった！

[root@ip-10-1-1-235 ~]# ping 10.0.97.245
PING 10.0.97.245 (10.0.97.245) 56(84) bytes of data.
64 bytes from 10.0.97.245: icmp_seq=1 ttl=254 time=0.967 ms
64 bytes from 10.0.97.245: icmp_seq=2 ttl=254 time=0.973 ms
64 bytes from 10.0.97.245: icmp_seq=3 ttl=254 time=0.950 ms
^C
--- 10.0.97.245 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2002ms
rtt min/avg/max/mdev = 0.950/0.963/0.973/0.027 ms
[root@ip-10-1-1-235 ~]# curl http://10.0.97.245
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@ip-10-1-1-235 ~]#

eth0で動作しているPod（10.0.102.179）に入り、インスタンスA（10.0.64.94）とインスタンスB（10.1.1.235）に接続できるか試す。接続できる。

$ k exec -it nginx-7848d4b86f-kl68s -- bash
root@nginx-7848d4b86f-kl68s:/# ssh 10.0.64.94
root@10.0.64.94: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-kl68s:/# ssh 10.1.1.235
root@10.1.1.235: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-kl68s:/#

インスタンスAの/var/log/secureを確認する。PodのIPからきている。

Dec  2 07:15:23 ip-10-0-64-94 sshd[31835]: Connection closed by 10.0.102.179 port 34644 [preauth]

インスタンスBの/var/log/secureを確認する。PodのIPからきている。

Dec  2 07:15:38 ip-10-1-1-235 sshd[31786]: Connection closed by 10.0.102.179 port 39066 [preauth]

eth1で動作しているPod（10.0.97.245）に入り、インスタンスA（10.0.64.94）とインスタンスB（10.1.1.235）に接続できるか試す。接続できる。

$ k exec -it nginx-7848d4b86f-7b599 -- bash
root@nginx-7848d4b86f-7b599:/# ssh 10.0.64.94
root@10.0.64.94: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-7b599:/# ssh 10.1.1.235
root@10.1.1.235: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
root@nginx-7848d4b86f-7b599:/#

インスタンスAの/var/log/secureを確認する。PodのIPからきている。

Dec  2 07:18:19 ip-10-0-64-94 sshd[31883]: Connection closed by 10.0.97.245 port 46196 [preauth]

インスタンスBの/var/log/secureを確認する。PodのIPからきている。

Dec  2 07:19:14 ip-10-1-1-235 sshd[31796]: Connection closed by 10.0.97.245 port 50710 [preauth]

まとめ

• AWS_VPC_K8S_CNI_EXTERNALSNAT=falseの場合、VPC外に出て行くときにSNATが行われる
• AWS_VPC_K8S_CNI_EXTERNALSNAT=falseの場合、VPC外からセカンダリーENI上で動いているPodに接続できない

AWS_VPC_K8S_CNI_EXTERNALSNAT=falseの場合

接続元	接続先	結果
同じVPCのインスタンス	プライマリーENI上のPod	接続できる
同じVPCのインスタンス	セカンダリーENI上のPod	接続できる
ピアリングしたVPCのインスタンス	プライマリーENI上のPod	接続できる
ピアリングしたVPCのインスタンス	セカンダリーENI上のPod	接続できない
プライマリーENI上のPod	同じVPCのインスタンス	接続できる（SNATされないのでソースはPodのIP）
プライマリーENI上のPod	ピアリングしたVPCのインスタンス	接続できる（SNATされるのでソースはノードのIP）

AWS_VPC_K8S_CNI_EXTERNALSNAT=trueの場合

接続元	接続先	結果
同じVPCのインスタンス	プライマリーENI上のPod	接続できる
同じVPCのインスタンス	セカンダリーENI上のPod	接続できる
ピアリングしたVPCのインスタンス	プライマリーENI上のPod	接続できる
ピアリングしたVPCのインスタンス	セカンダリーENI上のPod	接続できる
プライマリーENI上のPod	同じVPCのインスタンス	接続できる（SNATされないのでソースはPodのIP）
プライマリーENI上のPod	ピアリングしたVPCのインスタンス	接続できる（SNATされないのでソースはPodのIP）