我使用docker至今已有一段時間了，與絕大部分的人一樣，我被docker強大的功能和易用性深深的折服。簡單方便是docker的核心之一，它強大的功能被抽象成了非常簡單的命令。當我在使用和學習docker的時候，我很想知道docker在后臺都做了一些什么事情，特別是在網(wǎng)絡(luò)這一塊（我最感興趣的一塊）

我找到了很多關(guān)于創(chuàng)建和操作容器網(wǎng)絡(luò)的文檔，但是關(guān)于docker如何使網(wǎng)絡(luò)工作的卻沒有那么多。 Docker廣泛使用linux iptables和網(wǎng)橋接口，這篇文章是我如何用于創(chuàng)建容器網(wǎng)絡(luò)的總結(jié)，大部分信息來自github上的討論，演示文稿，以及我自己的測試。文章結(jié)尾我會給出我認為非常有用的資料鏈接。

我寫這篇文章使用的是docker 1.12.3,但這不是作為對docker網(wǎng)絡(luò)的全面描述，也不作為docker網(wǎng)絡(luò)的介紹。我只希望這篇文章能給大家開拓視野，也非常感謝所有對文章錯誤，缺失的反饋和批評。

Docker網(wǎng)絡(luò)概覽

Docker的網(wǎng)絡(luò)建立在允許任何一方編寫自己的網(wǎng)絡(luò)驅(qū)動程序的容器網(wǎng)絡(luò)模型（CNM）之上。這允許不同的網(wǎng)絡(luò)類型可用于在docker引擎上運行的容器，并且容器可以同時連接到多個網(wǎng)絡(luò)。除了各種第三方網(wǎng)絡(luò)驅(qū)動程序可用，docker自帶四個內(nèi)置網(wǎng)絡(luò)

驅(qū)動程序：

Bridge: 這是啟動容器的默認網(wǎng)絡(luò)。通過docker主機上的網(wǎng)橋接口實現(xiàn)連接。 使用相同網(wǎng)橋的容器有自己的子網(wǎng)，并且可以相互通信（默認情況下）。

Host:這個驅(qū)動程序允許容器訪問docker主機自己的網(wǎng)絡(luò)空間（容器將看到和使用與docker主機相同的接口）。

Macvlan:此驅(qū)動程序允許容器直接訪問主機的接口或子接口（vlan）。 它還允許中繼鏈接。

Overlay：此驅(qū)動程序允許在運行docker的多個主機（通常是docker群集群）上構(gòu)建網(wǎng)絡(luò)。 容器還具有自己的子網(wǎng)和網(wǎng)絡(luò)地址，并且可以直接相互通信，即使它們在不同的物理主機上運行。

Bridge和Overlay可能是最常用的網(wǎng)絡(luò)驅(qū)動程序，在本文和下一篇文章中我將主要關(guān)注這兩個驅(qū)動程序。

Docker Bridge 網(wǎng)絡(luò)

在docker主機上運行的容器的默認網(wǎng)絡(luò)是。 Docker在首次安裝時創(chuàng)建一個名為“bridge”的默認網(wǎng)絡(luò)。 我們可以列出所有docker網(wǎng)絡(luò)來查看此網(wǎng)絡(luò) docker network ls：

$ docker network lsNETWORK ID     NAME        DRIVER       SCOPE3e8110efa04a    bridge       bridge       localbb3cd79b9236    docker_gwbridge   bridge       local22849c4d1c3a    host        host        local3kuba8yq3c27    ingress       overlay       swarmecbd1c6c193a    none        null        local

要檢查其屬性，運行docker network inspect bridge 

$ docker network inspect bridge[  {    "Name": "bridge",    "Id": "3e8110efa04a1eb0923d863af719abf5eac871dbac4ae74f133894b8df4b9f5f",    "Scope": "local",    "Driver": "bridge",    "EnableIPv6": false,    "IPAM": {      "Driver": "default",      "Options": null,      "Config": [        {          "Subnet": "172.18.0.0/16",          "Gateway": "172.18.0.1"        }      ]    },    "Internal": false,    "Containers": {},    "Options": {      "com.docker.network.bridge.default_bridge": "true",      "com.docker.network.bridge.enable_icc": "true",      "com.docker.network.bridge.enable_ip_masquerade": "true",      "com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",      "com.docker.network.bridge.name": "docker0",      "com.docker.network.driver.mtu": "1500"    },    "Labels": {}  }]

你還可以使用docker network create命令并指定選項--driver bridge創(chuàng)建自己的網(wǎng)絡(luò)，例如

docker network create --driver bridge --subnet 192.168.100.0/24 --ip-range 192.168.100.0/ 24 my-bridge-network創(chuàng)建另一個網(wǎng)橋網(wǎng)絡(luò)，名稱為“my-bridge-network”，子網(wǎng)為192.168.100.0/24。

Linux 網(wǎng)橋接口

docker創(chuàng)建的每個網(wǎng)橋網(wǎng)絡(luò)由docker主機上的網(wǎng)橋接口呈現(xiàn)。、 默認橋網(wǎng)絡(luò)“bridge”通常具有與其相關(guān)聯(lián)的接口docker0，并且使用docker network create命令創(chuàng)建的每個后續(xù)網(wǎng)橋網(wǎng)絡(luò)將具有與其相關(guān)聯(lián)的新接口。

$ ifconfig docker0docker0  Link encap:Ethernet HWaddr 02:42:44:88:bd:75     inet addr:172.18.0.1 Bcast:0.0.0.0 Mask:255.255.0.0     UP BROADCAST MULTICAST MTU:1500 Metric:1     RX packets:0 errors:0 dropped:0 overruns:0 frame:0     TX packets:0 errors:0 dropped:0 overruns:0 carrier:0     collisions:0 txqueuelen:0     RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

要找到與你創(chuàng)建的docker網(wǎng)絡(luò)關(guān)聯(lián)的linux接口，可以使用ifconfig列出所有接口，然后找到你指定了子網(wǎng)的接口，例如，我們想查看我們之前創(chuàng)建的網(wǎng)橋接口my-bridge-network 我們可以這樣：

$ ifconfig | grep 192.168.100. -B 1br-e6bc7d6b75f3 Link encap:Ethernet HWaddr 02:42:bc:f1:91:09     inet addr:192.168.100.1 Bcast:0.0.0.0 Mask:255.255.255.0

linux橋接接口與交換機的功能類似，因為它們將不同的接口連接到同一子網(wǎng)，并根據(jù)MAC地址轉(zhuǎn)發(fā)流量。 我們將在下面看到，連接到網(wǎng)橋網(wǎng)絡(luò)的每個容器將在docker主機上創(chuàng)建自己的虛擬接口，并且docker引擎將同一網(wǎng)絡(luò)中的所有容器連接到同一個網(wǎng)橋接口，這將允許它們與彼此進行通信。 您可以使用brctl獲取有關(guān)網(wǎng)橋狀態(tài)的更多詳細信息。

$ brctl show docker0bridge name   bridge id        STP enabled   interfacesdocker0     8000.02424488bd75    no

一旦我們有容器運行并連接到這個網(wǎng)絡(luò)，我們將看到interfaces列下面列出的每個容器的接口。 并且在橋接器接口上運行流量捕獲將允許我們看到同一子網(wǎng)上的容器之間的相互通信。

Linux 虛擬網(wǎng)絡(luò)接口(veth)

容器網(wǎng)絡(luò)模型（CNM）允許每個容器具有其自己的網(wǎng)絡(luò)空間。 從容器內(nèi)部運行ifconfig將顯示容器內(nèi)部的網(wǎng)絡(luò)接口：

$ docker run -ti ubuntu:14.04 /bin/bashroot@6622112b507c:/#root@6622112b507c:/# ifconfigeth0   Link encap:Ethernet HWaddr 02:42:ac:12:00:02     inet addr:172.18.0.2 Bcast:0.0.0.0 Mask:255.255.0.0     inet6 addr: fe80::42:acff:fe12:2/64 Scope:Link     UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1     RX packets:9 errors:0 dropped:0 overruns:0 frame:0     TX packets:6 errors:0 dropped:0 overruns:0 carrier:0     collisions:0 txqueuelen:0     RX bytes:766 (766.0 B) TX bytes:508 (508.0 B)lo    Link encap:Local Loopback     inet addr:127.0.0.1 Mask:255.0.0.0     inet6 addr: ::1/128 Scope:Host     UP LOOPBACK RUNNING MTU:65536 Metric:1     RX packets:0 errors:0 dropped:0 overruns:0 frame:0     TX packets:0 errors:0 dropped:0 overruns:0 carrier:0     collisions:0 txqueuelen:0     RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

然而，上面看到的eth0只能從那個容器中可用，而在Docker主機的外部，docker會創(chuàng)建一個與其對應(yīng)的雙虛擬接口，并作為到容器外的鏈接。 這些虛擬接口連接到上面討論的橋接器接口，以便于在同一子網(wǎng)上的不同容器之間的連接。

我們可以通過啟動連接到默認網(wǎng)橋的兩個容器來查看此過程，然后查看docker主機上的接口配置。

在運行啟動任何容器之前，docker0 橋接接口沒有連接的接口：

然后我從ubuntu:14.04 鏡像啟動2個容器

$ docker psCONTAINER ID    IMAGE        COMMAND       CREATED       STATUS       PORTS        NAMESa754719db594    ubuntu:14.04    "/bin/bash"     5 seconds ago    Up 4 seconds              zen_kalam976041ec420f    ubuntu:14.04    "/bin/bash"     7 seconds ago    Up 5 seconds              stupefied_easley

您能馬上看到現(xiàn)在有兩個接口連接到docker0網(wǎng)橋接口（每個容器一個）

$ sudo brctl show docker0bridge name   bridge id        STP enabled   interfacesdocker0     8000.02424488bd75    no       veth2177159                            vethd8e05dd

從其中一個容器ping到google，然后從docker主機對容器的虛擬接口進行流量捕獲，將顯示容器流量

$ docker exec a754719db594 ping google.comPING google.com (216.58.217.110) 56(84) bytes of data.64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=1 ttl=48 time=0.849 ms64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=2 ttl=48 time=0.965 msubuntu@swarm02:~$ sudo tcpdump -i veth2177159 icmptcpdump: verbose output suppressed, use -v or -vv for full protocol decodelistening on veth2177159, link-type EN10MB (Ethernet), capture size 262144 bytes20:47:12.170815 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 55, length 6420:47:12.171654 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 55, length 6420:47:13.170821 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 56, length 6420:47:13.171694 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 56, length 64

同樣，我們可以從一個容器平到另一個容器。

首先，我們需要獲取容器的IP地址，這可以通過在容器中運行ifconfig或使用docker inspect命令檢查容器來完成：

$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' a754719db594 172.18.0.3 

然后我們從一個容器ping另一個容器

$ docker exec 976041ec420f ping 172.18.0.3PING 172.18.0.3 (172.18.0.3) 56(84) bytes of data.64 bytes from 172.18.0.3: icmp_seq=1 ttl=64 time=0.070 ms64 bytes from 172.18.0.3: icmp_seq=2 ttl=64 time=0.053 ms

要從docker主機看到這個流量，我們可以在對應(yīng)于容器的任何一個虛擬接口上捕獲，或者我們可以在橋接口（在這個實例中為docker0）上捕獲，顯示所有的容器間通信子網(wǎng)：

$ sudo tcpdump -ni docker0 host 172.18.0.2 and host 172.18.0.3tcpdump: verbose output suppressed, use -v or -vv for full protocol decodelistening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes20:55:37.990831 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 200, length 6420:55:37.990865 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 200, length 6420:55:38.990828 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 201, length 6420:55:38.990866 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 201, length 64

定位一個容器的vet接口

沒有直接的方法來找到docker主機上的哪個veth接口鏈接到容器內(nèi)的接口，但是在各種docker論壇和github中討論了幾種方法。在我看來最簡單的是以下（基于這個解決方案做了稍微的修改），這也取決于ethtool在容器中可訪問

例如：我的系統(tǒng)上運行了3個容器

MAGE        COMMAND       CREATED       STATUS       PORTS        NAMESccbf97c72bf5    ubuntu:14.04    "/bin/bash"     3 seconds ago    Up 3 seconds              admiring_torvalds77d9f02d61f2    ubuntu:14.04    "/bin/bash"     4 seconds ago    Up 4 seconds              goofy_borg19743c0ddf24    ubuntu:14.04    "/bin/sh"      8 minutes ago    Up 8 minutes              high_engelbart

首先我運行如下命令來獲得peer_ifindex 號

$ docker exec 77d9f02d61f2 sudo ethtool -S eth0NIC statistics:   peer_ifindex: 16

然后在docker主機上，通過peer_ifindex 找到接口名稱

$ sudo ip link | grep 1616: veth7bd3604@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP mode DEFAULT group default

所以，在目前的情況下，接口名稱是：veth7bd3604

iptables

Docker使用linux iptables來控制與它創(chuàng)建的接口和網(wǎng)絡(luò)之間的通信。 Linux iptables由不同的表組成，但我們主要關(guān)注兩個：filter和nat。過濾器是網(wǎng)絡(luò)或接口的流量的安全規(guī)則表,用于允許或拒絕IP地址,而nat包含負責屏蔽IP地址或端口的規(guī)則。Docker使用nat允許橋接網(wǎng)絡(luò)上的容器與docker主機之外的目的地進行通信（否則指向容器網(wǎng)絡(luò)的路由必須在docker主機的網(wǎng)絡(luò)中添加）

iptables:filter

iptables中的表由對應(yīng)于處理docker主機上的數(shù)據(jù)包的不同條件或階段的不同鏈組成。默認情況下，過濾器表具有3個鏈：用于處理到達主機并且去往同一主機的分組的輸入鏈，用于發(fā)送到外部目的地的主機的分組的輸出鏈，以及用于進入主機但具有目的地外部主機。每個鏈由一些規(guī)則組成，這些規(guī)則規(guī)定對分組采取一些措施（例如拒絕或接受分組）以及匹配規(guī)則的條件。 順序處理規(guī)則，直到找到匹配項，否則應(yīng)用鏈的默認策略。 也可以在表中定義自定義鏈。

要查看過濾器表中鏈的當前配置的規(guī)則和默認策略，可以運行iptables -t filter -L（或iptables -L，如果未指定表，則默認使用過濾器表）

$ sudo iptables -t filter -LChain INPUT (policy ACCEPT)target   prot opt source        destinationACCEPT   tcp -- anywhere       anywhere       tcp dpt:domainACCEPT   udp -- anywhere       anywhere       udp dpt:domainACCEPT   tcp -- anywhere       anywhere       tcp dpt:bootpsACCEPT   udp -- anywhere       anywhere       udp dpt:bootpsChain FORWARD (policy ACCEPT)target   prot opt source        destinationDOCKER-ISOLATION all -- anywhere       anywhereDOCKER   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhere       ctstate RELATED,ESTABLISHEDACCEPT   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhereDOCKER   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhere       ctstate RELATED,ESTABLISHEDACCEPT   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhereDOCKER   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhere       ctstate RELATED,ESTABLISHEDACCEPT   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhereACCEPT   all -- anywhere       anywhereDROP    all -- anywhere       anywhereChain OUTPUT (policy ACCEPT)target   prot opt source        destinationChain DOCKER (3 references)target   prot opt source        destinationChain DOCKER-ISOLATION (1 references)target   prot opt source        destinationDROP    all -- anywhere       anywhereDROP    all -- anywhere       anywhereDROP    all -- anywhere       anywhereDROP    all -- anywhere       anywhereDROP    all -- anywhere       anywhereDROP    all -- anywhere       anywhereRETURN   all -- anywhere       anywhere

突出顯示的是不同的鏈，以及每個鏈的默認策略（沒有自定義鏈的默認策略）。 我們還可以看到Docker已經(jīng)添加了兩個自定義鏈：Docker和Docker-Isolation，并且在Forward鏈中插入了以這兩個新鏈作為目標的規(guī)則。

Docker-isolation chain

Docker-isolation包含限制不同容器網(wǎng)絡(luò)之間的訪問的規(guī)則。 要查看更多詳細信息，請在運行iptables時使用-v選項

$ sudo iptables -t filter -L -v….Chain DOCKER-ISOLATION (1 references) pkts bytes target   prot opt in   out   source        destination  0   0 DROP    all -- br-e6bc7d6b75f3 docker0 anywhere       anywhere  0   0 DROP    all -- docker0 br-e6bc7d6b75f3 anywhere       anywhere  0   0 DROP    all -- docker_gwbridge docker0 anywhere       anywhere  0   0 DROP    all -- docker0 docker_gwbridge anywhere       anywhere  0   0 DROP    all -- docker_gwbridge br-e6bc7d6b75f3 anywhere       anywhere  0   0 DROP    all -- br-e6bc7d6b75f3 docker_gwbridge anywhere       anywhere36991 3107K RETURN   all -- any  any   anywhere       anywhere

您可以在上面看到一些刪除規(guī)則，阻止任何由docker創(chuàng)建的橋接接口之間的流量，從而確保容器網(wǎng)絡(luò)不能通信。

icc=false

可以傳遞到docker network create命令的選項之一是com.docker.network.bridge.enable_icc，它代表容器間通信。 將此選項設(shè)置為false會阻止同一網(wǎng)絡(luò)上的容器彼此通信。 這是通過在前向鏈中添加一個丟棄規(guī)則來實現(xiàn)的，該丟棄規(guī)則匹配來自與去往同一接口的網(wǎng)絡(luò)相關(guān)聯(lián)的橋接器接口的分組。

舉個例子，我們用以下命令創(chuàng)建一個新的網(wǎng)絡(luò)

docker network create --driver bridge --subnet 192.168.200.0/24 --ip-range 192.168.200.0/24 -o "com.docker.network.bridge.enable_icc"="false" no-icc-network

$ ifconfig | grep 192.168.200 -B 1br-8e3f0d353353 Link encap:Ethernet HWaddr 02:42:c4:6b:f1:40     inet addr:192.168.200.1 Bcast:0.0.0.0 Mask:255.255.255.0$ sudo iptables -t filter -S FORWARD-P FORWARD ACCEPT-A FORWARD -j DOCKER-ISOLATION-A FORWARD -o br-8e3f0d353353 -j DOCKER-A FORWARD -o br-8e3f0d353353 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT-A FORWARD -i br-8e3f0d353353 ! -o br-8e3f0d353353 -j ACCEPT-A FORWARD -o docker0 -j DOCKER-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT-A FORWARD -i docker0 ! -o docker0 -j ACCEPT-A FORWARD -i docker0 -o docker0 -j ACCEPT-A FORWARD -o br-e6bc7d6b75f3 -j DOCKER-A FORWARD -o br-e6bc7d6b75f3 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT-A FORWARD -i br-e6bc7d6b75f3 ! -o br-e6bc7d6b75f3 -j ACCEPT-A FORWARD -i br-e6bc7d6b75f3 -o br-e6bc7d6b75f3 -j ACCEPT-A FORWARD -o docker_gwbridge -j DOCKER-A FORWARD -o docker_gwbridge -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT-A FORWARD -i docker_gwbridge ! -o docker_gwbridge -j ACCEPT-A FORWARD -o lxcbr0 -j ACCEPT-A FORWARD -i lxcbr0 -j ACCEPT-A FORWARD -i docker_gwbridge -o docker_gwbridge -j DROP-A FORWARD -i br-8e3f0d353353 -o br-8e3f0d353353 -j DROP

iptables:nat

NAT允許主機更改數(shù)據(jù)包的IP地址或端口。在這種情況下,它用于屏蔽源IP地址來自docker網(wǎng)絡(luò)（例如172.18.0.0/24子網(wǎng)中的主機），目的地為容器外，位于docker主機的IP地址之后的數(shù)據(jù)包。此功能由com.docker.network.bridge.enable_ip_masquerade選項控制，可以在docker network create（如果未指定，則默認為true）命令中使用。

你可以在iptables的nat表中看到此命令的效果

$ sudo iptables -t nat -LChain PREROUTING (policy ACCEPT)target   prot opt source        destinationDOCKER   all -- anywhere       anywhere       ADDRTYPE match dst-type LOCALChain INPUT (policy ACCEPT)target   prot opt source        destinationChain OUTPUT (policy ACCEPT)target   prot opt source        destinationDOCKER   all -- anywhere      !127.0.0.0/8     ADDRTYPE match dst-type LOCALChain POSTROUTING (policy ACCEPT)target   prot opt source        destinationMASQUERADE all -- 172.18.0.0/16    anywhereMASQUERADE all -- 192.168.100.0/24   anywhereMASQUERADE all -- 172.19.0.0/16    anywhereMASQUERADE all -- 10.0.3.0/24     !10.0.3.0/24Chain DOCKER (2 references)target   prot opt source        destinationRETURN   all -- anywhere       anywhereRETURN   all -- anywhere       anywhereRETURN   all -- anywhere       anywhere

在postrouting鏈中，您可以看到在與自己網(wǎng)絡(luò)外部的任何主機通信時，通過應(yīng)用偽裝操作創(chuàng)建的所有docker網(wǎng)絡(luò)。

總結(jié)

網(wǎng)橋網(wǎng)絡(luò)在docker主機上具有對應(yīng)的linux網(wǎng)橋接口，其作為layer2交換機，并且連接在同一子網(wǎng)上的不同容器。
容器中的每個網(wǎng)絡(luò)接口在Docker主機上具有在容器運行時創(chuàng)建的對應(yīng)虛擬接口。

橋接接口上來自Docker主機的流量捕獲等效于在交換機上配置SPAN端口，可以在該網(wǎng)絡(luò)上查看所有集群間通信。
在虛擬接口（veth- *）上來自docker主機的流量捕獲將顯示容器在特定子網(wǎng)上發(fā)送的所有流量

Linux iptables規(guī)則用于阻止不同的網(wǎng)絡(luò)（有時網(wǎng)絡(luò)中的主機）使用過濾器表進行通信。 這些規(guī)則通常添加在DOCKER-ISOLATION鏈中。

容器通過橋接接口與外部通信，其IP被隱藏在docker主機的IP地址后面。 這是通過向iptables中的nat表添加規(guī)則來實現(xiàn)的。

結(jié)束語

以上就是本文關(guān)于詳解Docker使用Linux iptables 和 Interfaces管理容器網(wǎng)絡(luò)的全部內(nèi)容，希望對大家有所幫助。