Baneff

pps до 450k, это если считать пакеты скриптом на интерфейсах. netstat -dw 1 -q 1 показывает вообще полтора миллиона пакетов в сек, но это как-то не выглядит достоверно по моему.

Думаю, просто возрастёт задержка и уменьшится кол-во дропов при переполнении трубы. Но дропов и так немного, а вот задержка - плохо, могут начать звонить всякие танчики и CS, что у них пинг большой.

А вот так, например, пробовали смотреть? Что для kernel{dummynet} показывает? top -SCHIPz

12.0-CURRENT, пока на 13-ку не обновил ещё. Не знаю, как там с говном мамонта, но вроде не такая уж древняя. Может вы не тем или или не там смотрите загрузку CPU процессом? Проблема-то общая, присутствует у всех, кто шейпит больше 2к юзеров дамминетом. Может у вас те пайпы простые полисеры? Какой type у вас используется? Давайте разберёмся, аж самому интересно. А интр и должен жрать много, тут всё в порядке. Какая у вас скорость каналов суммарная?

Ну может на гепоне это и работает, тем более, что и зоопарка из разнотипного оборудования нет. Но всё равно, сомнительно что там шейпер, ведь памяти в мыльницах всяких всегда не хватает, почти всегда там полисер, а это такая штука, которая тупо дропает пакеты, которые не влезают в трубу. Если так, то это и правда вряд ли обрадует юзеров. Проверьте как там эта скорость нарезается насамом деле.

С давних времён длина очереди вычислялась скриптом. При современных тарифах скрипт всегда ставит queue 1024Kbytes. На скоростях от bw 30000Kbit/s до bw 300000Kbit/s работает, дропов минимум, задержка в пределах, жалоб на шейпер нет. Это максимальное значение, раньше были в тарифах мелкие скорости, там длина очереди была меньше чтобы не увеличивать сильно задержку. Спасибо, кстати, что напомнили, возможно стоит пересмотреть скриптик для новых условий. Да, у нас используется type QFQ . Сейчас там новые типы появились, планируем попробовать, но пока руки не доходили. В новых методах длина очереди уже устанавливается автоматически, насколько я понял при беглом просмотре.

Обязательно передам на следующей провайдеровке

Разгон с охлаждением на жидком азоте? Для игрового компа - спорно, но допустимо, но гнать сервак - не, я пас.

Пока вижу, что выхода нет. Может разве что кто-то из своего опыта подскажет. То есть остаётся только использовать все доступные пассивные методы: оптимизировать правила ipfw дамминета, снижать насколько возможно HZ в ядре, выносить из шейпера всё что можно не шейпить, снижать длину очередей, использовать самые экономные алгоритмы шейпера из возможных - вот вроде и всё. Далее выбираем CPU с максимально возможной производительностью на одно ядро из тех, которые лезут в материнку и вперёд. Кол-во ядер выходит вторично по сравнению с производительностью одного ядра, но, конечно, желательно при этом ядер побольше, чтобы успевать разруливать очереди сетевых карт по прерываниям, kernel nat, ну и остальное там по мелочам, что хорошо параллелится. Ну и запретить Hyper-Threading, тут все рекомендовальщики солидарны. Сответственно, меняем и материнку, если уже стоит макимальный для этой материнки процессор и... А дальше всё. Пока процессоров быстрее 4ггц не изобрели и наверное не изобретут уже, технологические пределы, а мультиядерность нас тут не спасает. Так что дальше уже только добавление следующего сервака в параллель. Для меня пока ещё не ясен вопрос есть ли смысл ставить второй процессор, ну при условии, что материнка позволяет. Работу дамминета второй процессор никак не ускорит. Из многих бегающих в сети рекомендаций следует, что один процессор может в данной ситуации работать даже быстрее, чем два. Из-за того, что банки памяти и шины сетевых карт привязываются к одному процессору, и что медленный обмен между банками памяти и шинами разных процессоров нивелирует прибавку скорости от второго процессора. Как-то так. Но это надо попробовать, вроде что-то похожее на NUMA уже поддерживается на FreeBSD, может второй процессор и сможет уже хотя бы ускорить разгребание очередей сетевых карт по сравнению с однопроцессорной системой. Ну и ещё у меня в планах посмотреть новые методы дамминета, которые только с 12-й ветки появились. При загрузке FreeBSD-12 собщает теперь, что вместе со старыми методами: load_dn_sched dn_sched FIFO loaded load_dn_sched dn_sched WF2Q+ loaded load_dn_sched dn_sched RR loaded load_dn_sched dn_sched QFQ loaded загружаются ещё и новые: load_dn_sched dn_sched FQ_CODEL loaded load_dn_sched dn_sched FQ_PIE loaded load_dn_sched dn_sched PRIO loaded load_dn_aqm dn_aqm CODEL loaded load_dn_aqm dn_aqm PIE loaded Надо будет поэкспериментировать как эти новые методы себя покажут в работе, сейчас в работе QFQ, возможно это уже не лучший вариант.

Так для провайдера это лишнее, как монетизировать? У юзеров вопросы возникают, а чего это на спидтесте сначала хорошая скорость, а потом плохая? Зажимаете бедных юзеров, наживаетесь и всё т. д. как обычно. Поэтому решили, что график скорости должен быть плоским как стол. Чистый маркетинг короче, технически проблем с барстом не было.

Ну то есть ситуация безвыходная, платить придётся всё равно или за электричество или за квалификацию, разница небольшая. Или становись админом сам, тогда сплошной профит

Ну я не аксакал, но в чём проблема то? Когда-то давно пробовали внедрить барст, но не понравилось, прибили. Но работало, сначала всплеск скорости выше номинала, потом постепенное сползание к номиналу и далее уже номинал. На спидтесте видно, можно попробовать - проверить самому.

Если бы зарплата админа зависела от потребляемой серверной мощности, то, думаю, ряд этот начинался бы с 1кВт для 5к юзеров и с 0.5кВт для 2к юзеров. А так-то - да. Представьте себе, заходит начальник в серверную, а там куча серваков и куча свичей, всё жужжит, лампочками мигает, страшно аж жуть. Счета за электричество тоже вызывают уважение. Сразу возникает желание админу зарплату поднять или премию выписать, а то мало ли что.

Можно поинтересоваться, откуда при 5к абонов набралось серверов аж на 4.5-6 квт ? Правда интересно. Это получается 15-20шт серваков, зачем столько? И как, интересно, при такой рассеиваемой мощности хватает одного маломощного кондиционера?

Ключевые слова: банк, казначейство, ЦОД, крупный. Тогда да, есть бюджет, есть проэкт, есть соответсвующая реализация в результате. Однако, если взять конторы помельче, хоть гос, хоть коммерческие, то там не то что всего вышеперечисленного, там даже отдельного помещения под серверную может не быть, там админа вообще никакого нет часто, даже приходящего, это полный мрак. Все претензии в случае чего - к интернет провайдеру, как не смешно. Так что вот тот вариант с вентилятором на подставке, что я выше описал, он гораздо чаще встречается на практике. Ибо нет ни понимания ни желания ни возможности руководства тратить на это всё деньги.

Всем привет. Давно использую freebsd + ipfw + dummynet + kernel nat + ещё куча всякого разного и всё на одном серваке. Менять платформу не хочу - старый я уже для этого. Так вот. Нагрузка постепенно растёт, пора как-бы железо менять в очередной раз, но есть проблема. Всё в этой схеме прекрасно параллелится на мультиядерной системе. Всё, кроме старичка DUMMYNET. В очередной раз смотрю на процесс kernel{dummynet} и в очередной раз вижу конкретное узкое место во всй системе. Обойти невозможно, работает только в один поток и когда загрузка превышает 80-90% начинаются естественные проблемы. Все остальное работает с большим запасом по нагрузке. Вот и вопрос: как-то эту проблему удаётся решать? Чем шейпить юзеров, если не дамминетом? Или может появилась возможность как-то его параллелить? Или, возможно, какие-то новые методы позволяют как-то снизить нагрузку на дамминет? В документации появились некие новые варианты настроек CoDel, PIE, FQ-CoDel и FQ-PIE в дополнение к старым, может они помогут? Кто-то пробовал? Спасибо.

Кстати, мне тут один знакомый джуниперист рассказывал недавно, что возникла как-то у них мысль перейти с PPoE на IPoE. Так вот, говорит не получился у них каменный цветок, так и остались на PPoE. Говорит помешала какая-то несовместимость QinQ, vlan-per-user и ip-unnumbered. Может брешет и просто лень было, не знаю.

Странный вопрос. А бывает разве типичная серверная? Там что угодно может быть, начиная от компа на стелаже со свичём и упсом в комплекте и обдувается это всё только летом с помощью украденного в бухгалтерии вентилятора на подставке. А зимой серверная сама обогревает сисадмина, отопление-то отключено. А чё, тоже серверная. В таком варианте - 300-500Вт. А дольше всё зависит только от фантазии и финансирования. И из крутящегося только вентилятор китайский. В более продвинутом варианте присутствует один-два бытовых кондиционера, хоть обычных, хоть инверторных, на сколько денег хватит. Один - это для особых экстремалов :). Вентилятор/кондишн от постоянки канешна работать не будет, а всё остальное - думаю да, там же любой БП начинается с выпрямителя, так что всё равно чем питать. Брендовые серваки могут и не завестись от постоянки, там очень развита самодиагностика, могут не понять чо за дела такие, но я не проверял. Аппаратура с горячей заменой БП, там где их по две шт, обычно имеет вариант БП на 48V постоянки, но они дороже обычных. А с какой целью интересуетесь?

Та ну, есть всех трёх классов B, C, D, разноцветные. Которые D - они и есть с Uc~385V. Также встречаются и на меньшее напряжение, типа впритык, но это уже нестандарт, надо смотреть как они себя поведут. Вот, например:

Не, ну это уж совсем невероятное жлобство и дебилизм. Китайцы да такого не опустятся. https://www.aliexpress.com/item/35mm-Din-Rail-Surge-Protective-Device-10KA-20KA-Surge-Protector-Switch-1P-Electrical-Arrester-Device/32961830859.html?spm=2114.search0604.3.1.349a3074Cj62DB&ws_ab_test=searchweb0_0,searchweb201602_7_10065_10068_319_10059_10884_317_10887_10696_321_322_10084_453_10083_454_10103_10618_10307_537_536_10902,searchweb201603_51,ppcSwitch_0&algo_expid=b329e4f8-1be0-41cd-aa87-fff3e3078e35-0&algo_pvid=b329e4f8-1be0-41cd-aa87-fff3e3078e35

Ну, я думаю, кому 4к виланов не хватает, тот уж наверное знает и так что у него и как на его цисках с джуниперами строится, тут вопросы не задаёт. Ну или на обычных тазиках параллелить по 4к виланов на тазик, не? А автор топика спрашивет вообще, общую теорию так сказать, вот и удивился я

Сорри, но не согласный я. 20mm-ки в случае чего взрываются, их росто разносит на куски, ну не могут они рассеять энергию мощного импулься, не на то рассчитаны. А ещё хуже, если они начинают гореть ярким пламенем, было такое на заре туманной юности. Стояли те варисторы в пластмассовой коробочке, так и коробочка загорелась и вокруг неё уже, хорошо рядом человек был, потушил быстро. Так и до пожара недалеко. Китайские варисторы на DIN-рейку стоят недорого, вполне себе можно позволить. Ещё и конструкция модульная - заменил отработавшую вставку и всё, выгодно - удобно. Согласный я тут. Две наши ближайшие "независимые" подстанции на деле за всю историю два раза вырубались одновременно, правда это было при крупных авариях, когда весь район был без света. Так что нужен третий подвод :). Можно с электриками поговорить, что где и куда включено, но они и сами не очень в курсе, как выяснилось. По всем правилам у нас мало кто живёт, тут никаких денег не хватит. Серверная - не дата центр, потребление относительно небольшое, так что каждый изворачивается как может. Наверное дешевле генератор, только в нашем случае негде, не разрешают. Бензин, выхлоп, шум и всё такое... Да и обслуживание тоже денег стоит. А то и не заведётся ещё в самый момент, было и такое в нашей истории

Хорошее заземление, значить? Было уже пару случаев, когда молния била в землю неподалёку и часть еёйного заряда из земли через очень хорошее заземление растекалось через оборудование и дальше куда смогло дотянуться, сметая всё на своём пути. В данном случае получилось, что хорошее заземление - причина повреждений. Хотите полную защиту от молний - обеспечьте полную гальваническую развязку серверной с высоким пробивным напряжением и без заземления. То есть питание - только через силовые трансформаторы с хорошей изоляцией, сигнал - только через оптику, никаких витых пар и прочих проводов. Только техника безопасности такое не пропустит, без заземления-то... И ещё. Всякие там отсекатели не защищают от перенапряжений в сети, они отсекают все с помощью реле, время срабатывания которого недопустимо большое, электроника успевает сгореть за ними пока они отключать будут. Поэтому - мощные варисторы - наше всё. Стандартные, на DIN-рейку, Хоть китайские, хоть французские, у кого на сколько денег хватит. Ну и резервирование, вестимо. Всё оборудование должно быть с двумя источниками питания и, соответственно два комплекта бесперебойников с батареями. Генератор - по возможности и необходимости, ели деньги есть и есть где установить. А так желательно два-три подвода питания от разных подстанций. Где-то так.

А в чём проблема? Создаёте на каждого юзера по одному вилану и вперёд

Где это я вас о чём-то просил? Но да, я тоже понятия не имею зачем мне это делать и у меня тоже нет для себя аргументов. У нас с вами полное согласие и взаимопонимание. С чем я всех нас и поздравляю, пора идти домой.