замена софт машрутизатора

[NiTr0 584]

 

 

Так как бюджет ограничен смотрим в сторону Mikrotik CCR1036-8G-2S+

для бгп категорически непригоден. флап сессий - и два фулла он будет выгребать минут 30, со скоростью порядка 500-1000 роутов в секунду. при этом - не умеет multihop (получив 2 маршрута, скажем 1.2.3.0/16 via 5.6.7.8, 5.6.7.0/24 via 9.10.11.12 где 9.10.11.12 - из connected подсети а 5.6.7.8 - из удаленной, 1.2.3.0/16 будет unreachable). при этом - внутри тот же линукс, только поуродованный кривыми лапками погромистов, с кучей багов которые никто особо не спешит править. зато - с мордой в которую можно потыкать мышой...

 

и да, на экспресс-тесте 80кппс рандомного udp с коннтраком для ccr1072 делали нагрузку порядка 8%. т.е. 1072 сляжет в полку от 1мппс, т.е. порядка 7-8 гбит реального трафла. 1036 соответственно скукожится в 2 раза быстрее.

 

и это не считая прелестей типа неравномерной нагрузки ядер, когда несколько ядрышек в полке при общей загрузке в 40-50% начинают вызывать дропы, и абоны начинают громко материться "где мои купленные мегабиты"...

[NiTr0 584]

 

 

попробуйте bird он более стабильный чем quagga

да там не в демоне дело - юзерспейс демон панику вызвать не может. а вот перейти на более другой дистр - таки стоит (убунту, да на серверах - я бы не стал юзать). как вариант - роутерное что-то, разворачивающееся с флэшки в память (мы к примеру LEAF юзаем/подпиливаем).

 

помимо багов убунты - вполне может быть битая память. или БП дохнущий. или банально плохой контакт плашек памяти/сетевки. но без стэктрейсов паники это гадание на кофейной гуще.

 

у нас на бордерах/брасах аптайм бывает годы (рубается в основном по питанию).

[Steelssw 1]

 

попробуйте bird он более стабильный чем quagga

да там не в демоне дело - юзерспейс демон панику вызвать не может. а вот перейти на более другой дистр - таки стоит (убунту, да на серверах - я бы не стал юзать). как вариант - роутерное что-то, разворачивающееся с флэшки в память (мы к примеру LEAF юзаем/подпиливаем).

 

помимо багов убунты - вполне может быть битая память. или БП дохнущий. или банально плохой контакт плашек памяти/сетевки. но без стэктрейсов паники это гадание на кофейной гуще.

 

у нас на бордерах/брасах аптайм бывает годы (рубается в основном по питанию).

 

железо отпадает - полность. менялся сервер на такой-же IBM, так-же пробовали Supermicro

Відредаговано 2016-08-08 14:51:38 Steelssw

[Steelssw 1]

Всем спасибо за ответы, главное что мне нужно было узнать - что Микротик не годится. А с падающим сервером - тут другой вопрос.

[max_m 92]

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ? 

[Steelssw 1]

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ?

 

Памяти 8г сервер менял вместе с памятью соответственно

[prototip 284]

Фулл вью и коммутаторы Л3 как то не очень совместимое понятие в разрезе необходимой памяти ... Сисько 6500 может сие исполнить конечно , но тут делема такова либо дофига платим за электроэнергию и покупаем дешево железки  либо  наоборот .  Ну а по ходу бордер на писюке вполне может прожевать 2,3,4  гбита на сегодняшний день и пофиг на чем на Микротайке или прочем Линухе . 

[prototip 284]

ну FV нужен если вы его транзитом отдаете, либо если хотите балансировать исход

Бл# резерва достаточно дефолта

попробуйте bird он более стабильный чем quagga

проверте оперативу memtest-ом

в общем копайте почему у вас сервер крашится

А если я хочу кушать отдельно Украину как прикажете быть ?  И  апстрим присылает тебе 25 к маршрутов Украины и 600 к мира ?  Большая таблица маршрутов не есть зло - это есть + для тех кто знает что с ней делать , намного печальней , когда апстрим этого сделать не может , это как минимум настораживает - похож на говнопровайдера . 

Відредаговано 2016-08-08 16:32:45 prototip

[KaYot 3 709]

 

 

А если я хочу кушать отдельно Украину как прикажете быть ?  И  апстрим присылает тебе 25 к маршрутов Украины и 600 к мира ?

 

Кушайте, кто вам мешает? 25к украинских префиксов отлично влезают в кошку 4948. А зачем вам при этом 600к мировых - очередная загадка.

[BUM 241]

 

А если я хочу кушать отдельно Украину как прикажете быть ?  И  апстрим присылает тебе 25 к маршрутов Украины и 600 к мира ?

 

Кушайте, кто вам мешает? 25к украинских префиксов отлично влезают в кошку 4948. А зачем вам при этом 600к мировых - очередная загадка.

 

тут одной вводной не хватает, есть ли у данного провайдера даунлинки, если есть то FW надо, если нет - то ему по сути и не надо...

[BUM 241]

 

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ?

Памяти 8г сервер менял вместе с памятью соответственно

 

и зачем Вам столько?

bird> show route count
2430109 of 2430109 routes for 600938 networks
bird> show memory
BIRD memory usage
Routing tables:    236 MB
Route attributes:  164 MB
ROA tables:        192  B
Protocols:         861 kB
Total:             401 MB
bird>

[Steelssw 1]

 

 

А если я хочу кушать отдельно Украину как прикажете быть ?  И  апстрим присылает тебе 25 к маршрутов Украины и 600 к мира ?

 Кушайте, кто вам мешает? 25к украинских префиксов отлично влезают в кошку 4948. А зачем вам при этом 600к мировых - очередная загадка.

тут одной вводной не хватает, есть ли у данного провайдера даунлинки, если есть то FW надо, если нет - то ему по сути и не надо...

Даунлинков нету, значит будем уходить с ФВ

[Steelssw 1]

 

 

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ?

Памяти 8г сервер менял вместе с памятью соответственно

и зачем Вам столько?

bird> show route count
2430109 of 2430109 routes for 600938 networks
bird> show memory
BIRD memory usage
Routing tables:    236 MB
Route attributes:  164 MB
ROA tables:        192  B
Protocols:         861 kB
Total:             401 MB
bird>

Сервер брался не для бордера, память стоит одной планкой. Плюс на сервере ещё ДНС крутится

[KaYot 3 709]

Даунлинков нету, значит будем уходить с ФВ

 

1. Второй аплинк у вас рабочий, или чисто в качестве резерва?

Если чисто резерв - FV вам не нужен.

 

2. Связность аплинков примерно одинакова, и там, и там есть все направления и ua?

Если да - FV вам не нужен. 

 

3. Много ли у вас исхода?

Если как у большинства, основной трафик вход, а исхода в разы меньше - FV вам не нужен.

 

4. Мир и ua-ix наливаются и считаются отдельно?

Если нет - то вам и украинские префиксы принимать не нужно, достаточно тупо 2 дефолта принять.

 

Если FV не нужен - L3 свич избавит вас от мучений на долгие годы, аж до конца эры IPv4.

Відредаговано 2016-08-08 19:00:02 KaYot

[Steelssw 1]

 

Даунлинков нету, значит будем уходить с ФВ

 

1. Второй аплинк у вас рабочий, или чисто в качестве резерва?

Если чисто резерв - FV вам не нужен.

 

2. Связность аплинков примерно одинакова, и там, и там есть все направления и ua?

Если да - FV вам не нужен. 

 

3. Много ли у вас исхода?

Если как у большинства, основной трафик вход, а исхода в разы меньше - FV вам не нужен.

 

4. Мир и ua-ix наливаются и считаются отдельно?

Если нет - то вам и украинские префиксы принимать не нужно, достаточно тупо 2 дефолта принять.

 

Если FV не нужен - L3 свич избавит вас оет мучений на долгие годы, аж до конца эры IPv4.

Ответ более чем исчерпывающий. Большое спасибо

[BUM 241]

 

 

 

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ?

Памяти 8г сервер менял вместе с памятью соответственно

 

и зачем Вам столько?

bird> show route count
2430109 of 2430109 routes for 600938 networks
bird> show memory
BIRD memory usage
Routing tables:    236 MB
Route attributes:  164 MB
ROA tables:        192  B
Protocols:         861 kB
Total:             401 MB
bird>

 

Сервер брался не для бордера, память стоит одной планкой. Плюс на сервере ещё ДНС крутится

 

Ответьте себе на несколько вопросов:

1. что пишут логи?

2. На сервере оставьте только бордер!?

3. Какая/какие сетевые карточки?

lspci | grep Eth

4. Как распределяются прерывания?

cat /proc/interrupts

5. Какие дрова стоят? дефолтные?

6. Боюсь спросить - у Вас Нат на этом же тазике? если нет, то выключили ли Вы conntrack?

7. Система у Вас голая или убунта как всегда? (сколько приложений запущено, вдруг там мускули или еще какие лабутены гуляют

8. Если у Вас тупо периодими один проц в топе, попробуйте для теста поставить вместо кваги берд... бывает у нии приколы...

9. что Вам показывает perf top при пиках?

10. тюнинг sysctl делали? если да, что в нем?

[BUM 241]

 

Даунлинков нету, значит будем уходить с ФВ

 

1. Второй аплинк у вас рабочий, или чисто в качестве резерва?

Если чисто резерв - FV вам не нужен.

 

2. Связность аплинков примерно одинакова, и там, и там есть все направления и ua?

Если да - FV вам не нужен. 

 

3. Много ли у вас исхода?

Если как у большинства, основной трафик вход, а исхода в разы меньше - FV вам не нужен.

 

4. Мир и ua-ix наливаются и считаются отдельно?

Если нет - то вам и украинские префиксы принимать не нужно, достаточно тупо 2 дефолта принять.

 

Если FV не нужен - L3 свич избавит вас от мучений на долгие годы, аж до конца эры IPv4.

 

Не всегда так, бывает у аплинка одно или другое направление падают, пропадают, долго маршруты перестраиваются (пенальти теже), и тут FW помогает для исходящего трафика, но это бывает редко.

По поводу кол-ва трафика, тут тоже спорно... при FW можно им рулить как дуще будет угодно.

по поводу мир и УА, то тут вообще отдельная тема... УА обычно наливают пачку префиксов, мир ФВ + Дефолт... и строятся отдельные сессии и отдельные препенды...

[Steelssw 1]

 

 

 

 

Посмотри что у тебя с планками памяти часто и густо костыль именно в них, а и к стати сколько у тебя памяти на серваке ? То что ты железо менял это хорошо, а память ты менял ?

Памяти 8г сервер менял вместе с памятью соответственно

 

и зачем Вам столько?

bird> show route count
2430109 of 2430109 routes for 600938 networks
bird> show memory
BIRD memory usage
Routing tables:    236 MB
Route attributes:  164 MB
ROA tables:        192  B
Protocols:         861 kB
Total:             401 MB
bird>

Сервер брался не для бордера, память стоит одной планкой. Плюс на сервере ещё ДНС крутится

 

Ответьте себе на несколько вопросов:

1. что пишут логи?

2. На сервере оставьте только бордер!?

3. Какая/какие сетевые карточки?

lspci | grep Eth

4. Как распределяются прерывания?

cat /proc/interrupts

5. Какие дрова стоят? дефолтные?

6. Боюсь спросить - у Вас Нат на этом же тазике? если нет, то выключили ли Вы conntrack?

7. Система у Вас голая или убунта как всегда? (сколько приложений запущено, вдруг там мускули или еще какие лабутены гуляют

8. Если у Вас тупо периодими один проц в топе, попробуйте для теста поставить вместо кваги берд... бывает у нии приколы...

9. что Вам показывает perf top при пиках?

10. тюнинг sysctl делали? если да, что в нем?

 

1. что пишут логи?

До ребута чисто. После только логи загрузки.

 

2. На сервере оставьте только бордер!?

оставлю

 

3. Какая/какие сетевые карточки?

06:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection

0b:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection

1a:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

1a:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

 

4. Как распределяются прерывания?

распределяем вручную

 

5. Какие дрова стоят? дефолтные?

дрова обновляли

 

6. Боюсь спросить - у Вас Нат на этом же тазике? если нет, то выключили ли Вы conntrack?

 

ядро собирали вручную без ната и conntrack

 

7. Система у Вас голая или убунта как всегда? (сколько приложений запущено, вдруг там мускули или еще какие лабутены гуляют

 

убунта, из стандартного только SSH, ядро собранное вручную, лишнего ничего быть не должно

 

8. Если у Вас тупо периодими один проц в топе, попробуйте для теста поставить вместо кваги берд... бывает у нии приколы...

 

нагрузка нормальная (не более 20% на ядро)  Load average 0.1 где-то

 

берд попробую

 

10. тюнинг sysctl делали? если да, что в нем?

 раньше было

после отключения nf_conntrack убрали все

[KaYot 3 709]

Если сервер падает(ребутится/виснет), и замена железа ситуацию не изменила - виновато ядро. Соберите новое что ли, бывает вылезают баги неожиданно.

[Ajar 92]

Первое что-бы я сделал - запустите memtest  с дистрибутива линукс, у нас довольно часто попадается не серверная память с битыми ячейками, причем  проявляется по схожим симптомам как у вас. Если нет времени тестить память  - снимите половину памяти.

[Ajar 92]

в догонку:  в серверную мать i5520 поставили  память без ECC , все работало нормально, сервер проходил тест(неделю!) , но под нагрузкой сервак падал каждые 2-3-4 дня, заменили память с ECC  и сервер стал работать стабильно.

[netstriker 19]

Первое что-бы я сделал - запустите memtest  с дистрибутива линукс, у нас довольно часто попадается не серверная память с битыми ячейками, причем  проявляется по схожим симптомам как у вас. Если нет времени тестить память  - снимите половину памяти.

Человек уже 5 раз написал что они полностью меняли сервер, так что и память и БП были другие...

[KaYot 3 709]

Зато сетевки те же

[NiTr0 584]

 

 

До ребута чисто. После только логи загрузки.

консоль в ttyS0 перенаправьте, и в соседнем сервере/тазике запустите терминалку...

[Steelssw 1]

Кароче. Если автономка 16 бит то ставим кошку 4948-10ge и радуемся жизни. Сам так сделал по рекомендациям местного форумчанина и ни разу не пожалел.

Есть такая железка

http://foxgate.ua/l3-switches/item/foxgate-s9816-gs8x2

подскажите стоит-ли ставить ее как бордер ?