[freebsd gateway 10g + NAT + SHAPE]

11.4 ? А почему-бы не обновить? До 13.0 или хотя бы до 12.2p7 ? Там есть уже поддержка netmap в драйвере сетевухи, это хорошо поднимает скорострельность.

И зачем там pf ? Штатный ipfw всё, что надо делает. Зачем множить сущности?

[прерывания по ядрам проца]

36 минут назад, a_n_h сказал:

еще раз - освободить 1-е ядро только для думинет!

Не знаю. У меня балансируется нормально само, я давно убрал всякие привязки к ядрам. .FreeBSD 12 CURRENT r305929. Обновлять планирую после выхода 13-ки одновременно с апгрейдои очень старого железа на просто старое. Разгрузите дамминет, оптимизируйте правила, нагрузка на дамминет уменьшится. Возможно при переходе на 13-ку эти грабли вылезут и у меня, пока не пробовал - не знаю.

[прерывания по ядрам проца]

В 16.12.2020 в 15:19, a_n_h сказал:

  Всем доброго дня!

  Задача простая, для спеца, помогите адаптировать скрипт для привязки прерываний по ядрам проца как вариант отсюда:

https://dadv.livejournal.com/139366.html

у меня два камня по 6-сть ядер, сетевые 10Г.

Зачем? Можно поинтересоваться? Современная Фря прекрасно балансирует нагрузку по ядрам сама, автоматически. Зачем усложнять ей работу? Вручную так не сбалансируешь, обязательно где-то перекос будет.

Только что, Чучундра сказал:

Скинуться - неплохая идея. 

Я готов. Но это же надо чтобы Луиджи проявил инициативу, организовал стартап и сказал куда платить. А он типа занят, студенты, студентки и всё такое.

[прерывания по ядрам проца]

В 16.12.2020 в 16:22, blackjack сказал:

А есть предпосылки что dummynet сделают smp в следующих версия bsd?

Нет. Я писал Луиджи, автору дамминета, в его планах нет такой работы. Он подробно расписал как это сделать в листе рассылки, однако сам это делать не собирается. Надо чтобы кто-то опалил работу или грант выдал. Иначе вряд ли. Может скинуться, типа стартап заделать разве что. А без него тоже никто туда соваться не хочет. Так шта...

 

[freebsd gateway 10g]

56 минут назад, Shmel сказал:

Здается мне, что дело в ручном распределении прерываний.

Кстати - да, ручная привязка прерываний и ядер - это всё в далёком прошлом, устарело. Сейчас фря прекрасно распределяет и то и другое автоматически, нагрузка распределяется равномерно, вручную ничего вязать не надо уже теперь.

[freebsd gateway 10g]

13 минут назад, pashaumka сказал:

Вы уперлись в пропускную способность pcie v2. 

В лаб условиях по кабелю твинакс я поднял 9.4 гб. В реалиях - график выше. Одна машина - 12 ядерная рабочая станция, другая Леново м90(2-х ядерная).

Топикстартер не сказал что за мамка у него, но с этим процессором должна по идее идти в комплект мамка с как минимум двумя PCIe 2.0x16 слотами, даже если там 1U . По физике эти слоты точно не имеют ограничения скорости на 4 гигабита, как у вас показано и двухпортовая карта x520 должна там работать без ограничений. Если упёрлось где-то в бутылочное горлышко, то netstat -dw10 должен показывать ошибки и дропы. Показывает?

[freebsd gateway 10g]

3 часа назад, maxx сказал:

Ахуенный видимо специалист.

 

1 час назад, NaviNavi сказал:

Топите вот Banneff, давайте попросим его скрины сделать нагрузки на сервера. Что сможет показать

Ребята, вы что-то попутали. Я с вами пиписками мерятся не собираюсь, оно мне нах не нужно. Не стоит так возбуждаться, я специалист для себя, не для вас, и всё что мне нужно успешно решаю уже много лет. Чего и вам желаю.

[freebsd gateway 10g]

7 минут назад, bit сказал:

Тему не меняю.

Напишу, что мне нужно.

20Г NAT. 

С бекапом 1+1. Не обязательно на лету.

FreeBSD я умел, около 4Г но несколько лет назад.

Из допов по возможности защищаться от вирусов и DDoS.

За деньги.

Предложите в личку, кто умеет и может такое соорудить.

Джун+Джун не предлагать  Это сделаем после 20Г

 

Это нужно на 40Г переходить... Надо пробовать. Если только НАТ без роутинга и  шейпера, то может быть это и возможно. А в чём проблема новую тему открыть? Вы же хотите, чтобы побольше специалистов ваш вопрос увидели? Ваш вопрос к теме ветки никакого отношения не имеет. Автор топика пропал и здесь идёт как обычно срач по поводу чьи яйца круче.

[freebsd gateway 10g]

4 минуты назад, KaYot сказал:

 

Ну такое, спорить реально не о чем.

Вот, слава Богу, разумные слова. Тут нет предмета для спора, согласен на 100% .

[freebsd gateway 10g]

2 минуты назад, KaYot сказал:

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Сейчас я опять буду говорить банальности. Для каждого админа лучшей, как известно, является та Ось, которую он лично или его учитель лучше всего знает. Это аксиома. Поэтому, если я более 20 лет сижу на Фре, то мне глубоко влом переходить на ваш прекрасный Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет. Что тут непонятного? Мне не нужны специалисты ибо я сам специалист и знаю что куда и как кидать и наг я давно не читаю.  Есть рабочая система и вы постоянно предлагаете всё поломать и строить заново только потому, что вы линух знаете лучше меня. Сколько будет стоить такой переход и как юзеры отнесутся к тому, что в процессе освоения они будут ловить постоянные глюки из-за процесса обучения админа на собственных ошибках. Это абсурд. Люди, предлагающие такое неадекватны. Ну про Димкерса давно всё понятно, а теперь ещё и уважаемый Кайот туда-же. Странно это. Когда вас будут спрашивать на какую Ось лучше перейти, то не вопрос, мы вас внимательно выслушаем. Но тут автор топика об этом не спрашивал ни разу. Так что в очередной раз предлагаю вам заткнуть своё красноречие, извините за мой французский.

[freebsd gateway 10g]

38 минут назад, Чучундра сказал:

 

шейп или всетаки rate limit ?

С Димкерсом бесполезно спорить, я уже пробовал

[freebsd gateway 10g]

2 часа назад, Dimkers сказал:

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

 

С Димкерсом мы уже не раз выясняли ситуацию. Эти ваши красивые графики - это как в поставленной автором задаче? Роутер, нат и шейп на Freebsd ? Нет? Ну так кого ту тогда ваши улыбки должны веселить?

[Пристрій для локалізації пошкоджень витої пари]

Бюджетний - це скільки? Такий піде? Зовсім дешевих нема, це все ж таки не тривіальна задача.

https://www.aliexpress.com/item/4001147826352.html

 

Або, якщо ціна підходить, то можна взяти універсальний комбайн включно з рефлектометром. Воно того варто, якщо ви працюєте не тільки з витухою, але ще й з оптикою. Але не PON, бюджет рефлюка малуватий, ну так за такі гроші...

https://www.aliexpress.com/item/4000204823730.html

 

[freebsd gateway 10g]

Как уже советовали, прежде всего отключить Hyper Threading . У вас два CPU по 6 ядер, всего 12 физических ядер, вовсе не 24. Зачем дурить систему? Как уже писали, потому и 50% загрузки не превышается. Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже. А вы, я так понимаю, не гуру по FreeBSD и тут вашу работу за вас никто не сделает. Надо бы поменять сервак на более новый, они если б/у ставить недорогие. И обновить систему было бы неплохо. Дождитесь релиза FreeBSD 13 (выйдет весной) или поставьте CURRENT , там уже netmap внедрён в драйвера сетевух из коробки, ничего мудрить не надо. Это поднимает производительность. Ну и если вы таки не специалист во FreeBSD и вам всё равно какую систему осваивать, то, возможно, тут правильно посоветовали - стоит перейти на Линукс. Всё же Фря не так активно развивается в последние годы, как Линукс и многолетняя заноза в виде однопоточного дамминета к сожалению никуда не делась, приходится учитывать.

1 минуту назад, Den_LocalNet сказал:

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Это не он, это Интел :)

[посоветуйте свитч с парой 10GE SFP+]

11 минут назад, sanyadnepr сказал:

Мое мнение, Dimkers выдумал надуманную проблему, которая лечится правильным дизайном и архитектурой сети.

На наге, начали за здравие, закончили за упокой. Надо брать 6320, там на них достаточно гуманный ценник в k$)))

Да есть проблема перелива из 10Г > 1Г в теории, на практике она встречается реже, чем тут упоминают.  

В итоге получается, новых доступных по цене с буфером >2M вариантов нет, все новое доступное по цене шлак.
Остается только выбирать из доступных по цене вариантов б/у. 

 

Так по Димкесу любой может проверить, есть проблема или нет. Дропы пакетов даже микротик показывает, вот и. Дело сугубо индивидуальное, кому как.

[посоветуйте свитч с парой 10GE SFP+]

14 минут назад, Dimkers сказал:

Так вы сядьте и посчитайте. Вы же знаете примерный средний размер пакета, знаете сколько у вас трафика.

Из моих наблюдений - 1.5М буфер это где-то на 3-4Гб входящего трафика.( При чем неважно, 10 Г порт или ласпы).

3М это уже где-то до 8Г.

 

У меня возникло чувство, что у вас таки есть в продаже свичи с правильным размером буфера? Не? Из-за этого весь флейм?

Всё стоит столько, сколько за него готовы платить. Свичи доступа бюджетного класса комплектуются соответствующими по цене и возможностям чипами. Дорогие свичи комплектуются дорогими чипами с большими буферами, всё в соответствии с классом свича. В чём проблема? Есть лишнее бабло - можешь застраховаться от переливов. Нет лишнего бабла - ешь то, на что у тебя хватает денег. Так у вас есть в продаже дешёвые свичи с большими буферами, тогда озвучьте ваши предложения

[посоветуйте свитч с парой 10GE SFP+]

6 минут назад, Dimkers сказал:

Да ставьте себе с мелким буфером пакетов и наблюдайте, с какого трафика начнутся у вас проблемы и жалобы. Мне то что. Подумаешь, если вдруг ОСПФ разваливаться будет у какого-то корпа. Вот проблема то. Не ваша ведь )))

Да, я вникал в эту проблематику. Эта проблематика имеет место быть.

Озвучьте уже наконец, где граница между мелким буфером и длинным толстым буфером? Начиная с какого размера в мегабайтах буфер можно уже считать достаточно длинным и толстым. Ну с точки зрения человека, который вникал и не лОжил. Правда интересно. Мы уже выяснили, что буфер в 1.5 мегабайта маловат, но допустим. И?

 

А клиенты, которые знают слово ОСПФ не должны нуждаться в услугах вторичных провайдеров вообще. Зачем? Подключайся напрямую к магистралам, бери 2-3 канала для надёжности и вперёд. Умного админа всё равно нужно кормить, так пусть работает. Вторичники только хомяков и мелких юриков обслуживают в массе.

[посоветуйте свитч с парой 10GE SFP+]

4 минуты назад, Dimkers сказал:

Почитайте как пакеты ходят внутри коммутатора. Почитайте про берст.

1. Ну то есть если свич с портами разной физической скорости показывает, что пакеты дропаются, то это называется "перелив"? Просто надо было писать не "drop", а "pereliv" и всё бы стало на свои места?

2. И вот ещё, в смысле перелива в 1/10G свичах размер буфера 1.5 Мбайта как в Elteks - это плохо. А сколько хорошо? Как по мне, если бесконтрольно лить в 10-ку и выливать через 1-ку, то буфер любого размера рано или поздно переполнится, нет? И опять-же,  размер буфера - это свойство не свича, а центрального чипа этого свича, нет? То есть это разработчики чипа смогли выделить такой размер памяти под буфер пакетов, а не разработчики и производители свича. Значит все свичи любых марок, которые сделаны на Marvell 98DX3236-A1 будут иметь буфер 1.5 Мбайта и, соответственно, указанные выше проблемы с переливом?

3. А ещё ведь кроме проблем с буфером пакетов есть проблемы с размерами хеш-таблицы МАС адресов и с методом хеширования этих самых адресов. В старых б/у свичах есть высокая опасность того, что разным МАС адресам в этой таблице будет соответствовать одна и та-же строка и пакеты с этими разными МАС адресами свич будет выкидывать в один и то-же порт, что тоже не способствует. В новых свичах, надеюсь, это уже побороли, но я не проверял, точно не знаю.

4. И еще всякие разные ограничения встречаются, связанные с ограниченностью ресурсов, которые могут быть выделены разработчиками центрального чипа свича под разные задачи за приемлемые деньги. Например не все свичи старых марок могут поддерживать все 4096 номеров VLAN, есть такие, что поддерживают только 256 или даже вообще только 32 номера.

Что сказать-то хотел? Eltex за свои деньги среди новых свичей - хороший выбор. Даже с учётом размера буфера пакетов. Насчёт б/у свичей - лично я противник, у меня, как я уже писал раньше,  опыт был отрицательный, но тут уже каждый сам решает что и как. Может кому и ОК.

[Монобанк]

15 часов назад, pashaumka сказал:

монобанк работает поверх протоколов ibox. 

Если есть договор с ibox - у вас автоматом может работать и монобанк..

 

У меня был запрос в чат - "хочу подключиться к вам".

мы протестили апи - и все: чекаются через апи, а безнал через отдельный счет айбокс банка.

 

Увы, много раз пытался заключить договор с ibox - безрезультатно, отвечают, но "мы с вами свяжемся" и привет. Так что с ibox договора так и нет, хотя платежи через их терминалы и проходят, но идут через посредника. Как-то так.

[Монобанк]

Есть новости? Удалось кому нибудь заключить договор с Монобанком на приём платежей от населения? Интересует такой вариант, когда все платежи за сутки приходят одной платёжкой на следующий рабочий день, как у других агрегаторов или как у Привата, например. Вариант, когда каждая оплата приходит отдельной платёжкой не интересен.

[Железо для BGP]

12 минут назад, ISK сказал:

Причём тут Ubuntu? Человек про железо спрашивает.

Если надо потратить побольше бабла, то тут уже советовали. Если про железо - то любой подходящий сервак с ебея плюс пару двойных сетевух под SFP+ тоже с ебея. Ну и bird, понятное дело. Оставшиеся деньги - пропить. Не благодарите.

[посоветуйте свитч с парой 10GE SFP+]

12 минут назад, Dimkers сказал:

Вы потрудитесь изучить вопрос глубже. А не основывайтесь на выдумках сети пионера. Это общемировая проблема. Просто обычно мелкие провайдеры при обращении клиента - пинг скачет, голос рвется - отшивают клиента на перезагрузку роутера\проверку вирусов\поездку монтажников с ноутбуком и проверкой скорости на спидтесте. Никто в ЧНН монтажника не пошлет, а диреторо-монтажнико-админу оно вовсе до фанаря, у него других забот выше крыши

Общемировую проблему пусть решает мировое правительство, это не моя компетенция. Если поставщик услуг хочет, чтобы его услуга работала везде, а не только там, где сплошные циски стоят за многие тонны баксов, то ему придётся писать софт так, чтобы буфера ни у кого не переполнялись, это не проблема нижнего звена. Всё теперь Димкерс будет не просто Димкерс, а Димкерс-октябрёнок и его сеть и высказывания будут именоваться октябрятскими. Он так упорно называет незнакомых ему людей пионерами и их сети пионерскими, что я не смогу более удержаться. По сути, вы наверное даже представить себе не можете насколько тщательно могут разбираться жалобы клиентов и какая может быть на них реакция поддержки и техников, вы ведь теоретик, напрямую с клиентами никогда не работали, верно? Так вот, самая тупая поддержка именно у крупных операторов, вот там действительно ничего не добъёшься и это одна из причин, почему юзеры постепенно от них уходят.

1 минуту назад, Dimkers сказал:

Да я это сразу понял. Зато вы немного расширили кругозор. Кстати, ранее гуглокеши имели в спеках примечание, в котором упоминались свичи, которые категорически нельзя использовать для подключения. Я думаю вы догадались - что все свичи имели мелкие буфера

Вот, ключевое слово - раньше. А огласите список этой рухляди, плиз. Вы ведь читали то примечание.

[посоветуйте свитч с парой 10GE SFP+]

32 минуты назад, Dimkers сказал:

Я слишком давно в сетях

Ха, ну уж не дольше меня . Давайте будем мерятся пиписками

4 минуты назад, Kiano сказал:

на тебе буфера, даже не озвучу, а отображу! 😉

 

Та ну, это уже не буфера, вымя силиконовое. Срамота!

15 минут назад, Dimkers сказал:

Озвучьте буфера на маршрутизаторах пжалуйста

Вы знаете как работают разные шейпера? Что такое микроберст?

А сколько у него там получается? Ну например кеши гугла у вас в серверной. На какой скорости они отдадутся вашему клиенту?

Они шейпят каждый клиентский IP? Откуда инфа?

Я утомился с вами спорить. Моя твоя не понимайт и наоборот. Не вижу смысла доказывать очевидное.

[посоветуйте свитч с парой 10GE SFP+]

36 минут назад, Dimkers сказал:

Но зачастую такие специалисты как Банеф - ставят такое в ядро\агрегацию\транзит(усилитель для ОВ))), где это все вполне может быть.

 

Димкерс, ну за что вы меня так не любите? Я случайно наступил на какую-то вашу любимую мозоль? Откуда вам известно какой я специалист и что я куда ставлю, а? Зачем эти голословные утверждения?

 

36 минут назад, Dimkers сказал:

Все зависит от интенсивности дропов в секунду. Стоит понимать, что есть и разные протоколы. TCP перезашлет посеяный пакет. А вот с UDP - все не так гуманно. И при больших ппс - начинает страдать голос, появляются "лаги" и скачут пинги у игроков. Но опять же. Если это 10 пакетов в секунду при трафике 1,5Г- это одно(т.е. грубо 1К абонов, из них дропнется по пакету в сек у 10 человек - ничто, учитывая сколько геймеров-задротов из общего числа), а вот если уже дропов 10Кппс - это уже будет ощутимо.

 

А какая разница? представьте себе 2 трубы. В одной вода льется 10л/сек, а с другой вытекает 1л/сек. Между ними - расширительный бачек(такой себе буфер). Вода поступает беспрерывно. Насос накачивает со всей дури. В определенный момент расширительный бак наполнится и лопнет, ну или вода полетит из всех щелей - это и будут дропы Пакеты назначенные адресату ему не доставятся. Они прийдут в свич, места для них в буфере свиччипа не будет и они просто дропнутся на подходе к выходному порту свиччипа. Ну ка то так если на пальцах. Кстати помимо отсутствия счетчиков в самос свиччипе, некоторые производители свичей не утруждают себя и не делают таких счетчиков, или делают их, но он не считает дропы на самом деле.

 

Думаю, что даже при UDP передаче, какие-то подтверждения приёма передающая сторона получает от принимающей, а не льёт например часовй разговор тупо пока льётся и всё не выльется. Да, это не на уровне протокола, как в TCP , но наверняка обратная связь есть, не может не быть. Ну представьте себе, что передатчик подключён к сети физическим интерфейсом 40гбит/с или ещё выше, не знаю сколько там уже. Далее этот поток передаётся куда-то там в сеть и по дороге встречаются маршрутизаторы, работающие с интерфейсом 10гбит/с или,  о ужас, даже меньше. Так что, по вашей логике первыми должны полететь буфера у этого транспортного провайдера на его маршрутизаторе и только потом уже у провайдера с интерфейсом 1гбіт/с. Далее. Откуда может взяться вообще такой неограниченный ничем на передатчике поток? Все потоки, кроме явных атак, ограничены по скорости своей природой. Ютюб не пуляет в вас сразу весь ролик на скорости своего интерфейса подключения, а шлёт видео в реальном времени, сколько у него там получается. Точно так-же и игры и разговоры в реальном времени. Откуда инфа, что они льют как из ведра и переполняют буфера свичей и маршрутизаторов по дороге? Думаю, что люди, которые пишут тот софт, в курсе про возможность переполнения буферов и регулируют свои аппетиты даже и при передаче в реальном времени. Короче вся проблема выглядит надуманной и призванной заставить народ покупать дорогие свичи туда, где прекрасно работали бы и более дешёвые. Но подождём результатов тестирования...

[посоветуйте свитч с парой 10GE SFP+]

38 минут назад, KaYot сказал:

IMHO эти мелкие дропы вызывают головную боль только при наличии мультикаст ТВ. Домашним юзерам и ОТТ ТВ оно все фиолетово.

Тоже никогда не испытывали проблем.

А что, разве где-то ещё есть мультикаст ТВ?

А игры? Димкерс про игры говорил, что мол игроки от тех переливов страдают. У меня таких жалоб нет, но кто его знает.