Proxmox GBE bond and Mikrotik RB2011UiAS-2HnD

Two gigabit cards on every server in cluster, five gigabit ports on RB2011 - create 2 LACP bonds to increase live migration speed.

 1. Proxmox nework

auto enp2s0f0

iface enp2s0f0 inet manual

auto enp2s0f1

iface enp2s0f1 inet manual

auto bond0

iface bond0 inet manual

        bond-slaves enp2s0f0 enp2s0f1

        bond-miimon 100

        bond-mode 802.3ad

        bond-xmit-hash-policy layer2

auto vmbr0

iface vmbr0 inet static

        address 192.168.7.26/24

        gateway 192.168.7.1

        bridge-ports bond0

        bridge-stp off

        bridge-fd 0

2. Mikrotik network

2.1.Create bond

2.2.Add bond to internal bridge

Repeat for every pair.

[admin@MikroTik] > interface bonding print 

Flags: X - disabled, R - running 

 0  R name="bonding1" mtu=1500 mac-address=D4:CA:6D:1C:46:E6 arp=enabled arp-timeout=auto slaves=ether2,ether3 mode=802.3ad primary=none 

      link-monitoring=mii arp-interval=100ms arp-ip-targets="" mii-interval=100ms down-delay=0ms up-delay=0ms lacp-rate=30secs 

      transmit-hash-policy=layer-2 min-links=0 

 1  R name="bonding2" mtu=1500 mac-address=D4:CA:6D:1C:46:E8 arp=enabled arp-timeout=auto slaves=ether4,ether5 mode=802.3ad primary=none 

      link-monitoring=mii arp-interval=100ms arp-ip-targets="" mii-interval=100ms down-delay=0ms up-delay=0ms lacp-rate=30secs 

      transmit-hash-policy=layer-2 min-links=0 

[admin@MikroTik] > interface bridge port print 

Flags: X - disabled, I - inactive, D - dynamic, H - hw-offload 

 #     INTERFACE                                     BRIDGE                                     HW  PVID PRIORITY  PATH-COST INTERNAL-PATH-COST    HORIZON

 0   H ;;; defconf

       ether6                                        bridge                                     yes    1     0x80         10                 10       none

 1 I H ;;; defconf

       ether7                                        bridge                                     yes    1     0x80         10                 10       none

 2 I H ;;; defconf

       ether8                                        bridge                                     yes    1     0x80         10                 10       none

 3 I H ;;; defconf

       ether9                                        bridge                                     yes    1     0x80         10                 10       none

 4 I H ;;; defconf

       ether10                                       bridge                                     yes    1     0x80         10                 10       none

 5 I H ;;; defconf

       sfp1                                          bridge                                     yes    1     0x80         10                 10       none

 6     ;;; defconf

       wlan1                                         bridge                                            1     0x80         10                 10       none

 7     bonding1                                      bridge                                     yes    1     0x80         10                 10       none

 8     bonding2                                      bridge                                     yes    1     0x80         10                 10       none

3.Live migration speed - 370 Mib/sec

Microtik CPU limit, not working without hw offload

https://help.mikrotik.com/docs/display/ROS/CRS3xx,+CRS5xx,+CCR2116,+CCR2216+switch+chip+features#CRS3xx,CRS5xx,CCR2116,CCR2216switchchipfeatures-Bonding