CCR1036-8G-2S+ Проблема с TCP-трафиком

[nagios 0]

  Добрый день!

Столкнулся со следующей проблемой.
Проводил вот такие эксперименты:

 

 

При использовании маршрутизатора Mikrotik RB951 как downstream так и upstream достигает уровня 94-95 Мбит/с. Но вот когда включаю Mikrotik CCR-1036-8G-2S+ скорость приема выше 24-25 Мбит/с не подымается(((( Стоит отметить, что без коммутатора D-Link скорость достигает 94 Мбит/с как на схеме с RB951. Магия!
Еще нужно уточнить, с трафиком UDP проблем нет.... оба эксперимента показывают результат 95 Мбит/с.
Также в wireshark (при тестировании CCR-1036-8G-2S+) появляется большое количество (порядка 40-50%) TCP Out-of-Order и TCP Duplicate Ack.

Для тестирования я использовал iperf3 вот результаты:
CCR1036-8G-2S+ (Mbit/s)
1 сессия --- 23(down) --- 93(up)
2 сессии -- 29(down) --- 93(up)
3 сессии -- 33(down) --- 94(up)
4 сессии -- 36(down) --- 94(up)
5 сессий -- 90(down) --- 94(up)
10 сессий - 90(down) --- 94(up)

RB-951 (Mbit/s)
1 сессия --- 93(down) --- 93(up)
2 сессии -- 94(down) --- 94(up)
10 сессий -- 94(down) --- 94(up)

Кто-то может подсказать в чем проблема? Может кто-то сталкивался с подобными чудесами?

P.S.
Версии прошивок маршрутизаторов последние на данный момент RouterOS 6.35.2.
Оба маршрутизатора имеют дефолтные конфиги. Были добавлены только два VLAN-интерфейса с IP-адресами.
В фаерволе правила отстутствуют.... Тип очередей на интерфейсах стоит по умолчанию (Interface Queues --- only-hardware-queue, где only-hardware-queue ---- Kind none).

Відредаговано 2016-05-18 09:43:37 nagios

[pegas2012 1]

Конфиги покажите, стоит на одной точке  CCR-1036-8G-2S+, прокачивает 1300 мегабит

Відредаговано 2016-05-18 09:54:48 pegas2012

[nagios 0]

В конфиге ничего особенного, полный конфиг лежит на http://pastebin.com/PSXsejXA

 

[admin@MikroTik] > export 

# may/13/2016 18:15:08 by RouterOS 6.35.2

# software id = 4IXZ-2N5D

#

/interface ethernet

set [ find default-name=ether1 ] speed=1Gbps

set [ find default-name=ether2 ] speed=1Gbps

/ip neighbor discovery

set ether1 discover=no

set ether2 discover=no

set ether3 discover=no

set ether4 discover=no

set ether5 discover=no

set ether6 discover=no

set ether7 discover=no

set ether8 discover=no

set sfp-sfpplus1 discover=no

set sfp-sfpplus2 discover=no

/interface vlan

add interface=ether4 name=vlan777 vlan-id=777

add interface=ether3 name=vlan999 vlan-id=999

/ip neighbor discovery

set vlan777 discover=no

set vlan999 discover=no

/ip address

add address=192.168.88.1/24 comment=defconf interface=ether8 network=192.168.88.0

add address=10.10.10.2/30 interface=vlan999 network=10.10.10.0

add address=10.10.20.1/30 interface=vlan777 network=10.10.20.0

/system clock

set time-zone-name=Europe/Kiev

/system logging

add topics=dhcp

/system routerboard settings

set cpu-frequency=1200MHz memory-frequency=1066DDR protected-routerboot=disabled

/tool sniffer

set filter-interface=all

[admin@MikroTik] > 

Відредаговано 2016-05-18 10:35:42 nagios

[Ajar 92]

гляньте соответствие дуплексов на портах 

[nagios 0]

гляньте соответствие дуплексов на портах 

интерфейсы при auto-negotiation подымаются на 1Gb без проблем

тут скорее всего проблема не на физическом уровне OSI, а выше.... может быть на канальном (всякие там L2MTU и т.д.)

хотя может быть и на физическом (может быть проблема с очередями)

[BlackVS 35]

А пинг в обоих вариантах одинаковый и близкий к нулю?

[nagios 0]

А пинг в обоих вариантах одинаковый и близкий к нулю?

1-3 ms

[nagios 0]

тут, мне кажется, основное Также в wireshark (при тестировании CCR-1036-8G-2S+) появляется большое количество (порядка 40-50%) TCP Out-of-Order и TCP Duplicate Ack.

Походу CCR как-то не так обрабатывает очереди.... TCP-сегменты прилетают в разных последовательностях

[pegas2012 1]

попробуйте

/queue type
name="ethernet-default" kind=pfifo pfifo-limit=500

[nagios 0]

попробуйте

/queue type

name="ethernet-default" kind=pfifo pfifo-limit=500

попробую, обязательно отпишусь...

Но тут еще смущает, что на RB951 на таком же конфиге все летает без проблем

[BlackVS 35]

Есть странная на первый взгляд идея - на CCR принудительно переключить порты (оба) с 1G на 100M.

Відредаговано 2016-05-18 12:08:47 BlackVS

[nagios 0]

Есть странная на первый взгляд идея - на CCR принудительно переключить порты (оба) с 1G на 100M.

я пробовал и принудительно в 1G ставить и в 100М.... результат нулевой

[BlackVS 35]

Оба? Просто была идея, что Вы с линка 1Г просто забивали 100М линк на конечной точке, откуда дропы пакетов и их досылка и перестановка.

В обратную сторону такого эффекта нету, так со 100М линка на 1Г всё хорошо помещается.

То есть моя идея была в том, чтобы на левом ноуте на кабеле тоже был 100М линк, чтобы он физически не мог передавать быстрее.

Відредаговано 2016-05-18 12:27:49 BlackVS

[BlackVS 35]

Идея 2 - на правом ноуте установить http://www.mikrotik.com/download/btest.exe(если там винда) и потестить с той стороны на роутер.

[nagios 0]

ясно, попробую

а вообще вот была тема.... один в один
http://forum.nag.ru/forum/index.php?showtopic=98881

[BlackVS 35]

Ну я чего про пинг и спросил, чтобы сразу отсеять вопросы с RTT+TCPWindowSize %)

[BlackVS 35]

Идея 3. У Вас на портах flow-control=off. Попробуйте auto или on. Оно - в теории - тогда должно подстроиться под самый медленный линк в цепочке.

[BlackVS 35]

Вопрос - какое окно Вы выставляете при тесте iperf? Просто смотрю спецификацию длинка - у него вроде как 128кБ

http://www.dlink.ru/ru/products/1/2048.html

Может тут бутылочное горлышко?

То есть бОльшим окном передавать смысла нет - он не примет и дропнет часть...

А с учетом того, что еще и другой трафик гуляет - то я бы попробовал 32 и 64кБ для iperf.

[nagios 0]

Я пробовал коммутаторы и D-Link и Edge-Core.... разница нулевая(((