Jump to content

BRAS (NAS) 5k+ PPPoE


Recommended Posts

Прошу совета, камрады.

Стоит задача объединить в одном BRAS 5000+ PPPoE сессий, сейчас построено на нескольких тазиках RouterOS и CCR, суммарный трафик 3,5-4Гб/с

Заранее скажу, от PPPoE уйти нельзя (во всяком случае в ближайшем будущем), ещё один очень важный момент: нужно "распаковать" vlan over vlan микротиковской реализации, иногда с service tag (хотя от этого можно отказаться). Иными словами, используется VLAN транспорт другого провайдера, по этим вланам ходят "наши" вланы, общее кол-во около 500.

2 провайдера, никаких BGP и т.д.

За Juniper знаю, дорого и, возможно, сложно, но скорее вопрос в цене.

Link to post
Share on other sites
  • Replies 101
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Главное правило админа - не делать супер-коробку которая потянет все. Поставьте 2 Линукс-тазика попроще, они отлично сбалансируются и обеспечат резерв. А под 2-3к сессий достаточно весьма простог

sysctl.conf net.netfilter.nf_conntrack_max = 524288 net.netfilter.nf_conntrack_buckets = 131072 net.netfilter.nf_conntrack_tcp_timeout_established = 600 net.netfilter.nf_conntrack_tcp_timeout_syn

Прерывания в ядро не упруться? У человека же pppoe, интела его не любят. 

Тазик средней конфигурации и линукс. Непонятно зачем тут пачка тазиков.

Xeon E5-1680 v2 + двухголовая 10G сетевка вполне справится.

Link to post
Share on other sites
7 часов назад, KaYot сказал:

Тазик средней конфигурации и линукс. Непонятно зачем тут пачка тазиков.

Xeon E5-1680 v2 + двухголовая 10G сетевка вполне справится.

Прерывания в ядро не упруться? У человека же pppoe, интела его не любят. 

Edited by masters
  • Like 1
Link to post
Share on other sites
1 час назад, masters сказал:

Прерывания в ядро не упруться? У человека же pppoe, интела его не любят. 

Линукс это вам не фря... Тут пох%#, на аццеле пппое не потребляет более чем нихуя ресурсов.

Link to post
Share on other sites
2 часа назад, masters сказал:

Прерывания в ядро не упруться? У человека же pppoe, интела его не любят. 

В линуксе есть rps, pppoe легко по ядрам раскидывается.

  • Like 1
Link to post
Share on other sites
11 часов назад, KaYot сказал:

Тазик средней конфигурации и линукс. Непонятно зачем тут пачка тазиков.

Xeon E5-1680 v2 + двухголовая 10G сетевка вполне справится.

под каким линухом его лучше поднимать? линух поймёт влан во влане В РЕАЛИЗАЦИИ РОУТЕРОС (именно на других концах роутерос), не классический qinq

в качестве шейпера что использовать?

4 часа назад, masters сказал:

Прерывания в ядро не упруться? У человека же pppoe, интела его не любят. 

аргументируйте, пожалуйста, почему интела не любят пппое?

Link to post
Share on other sites
12 часов назад, Kiano сказал:

За Juniper знаю, дорого и, возможно, сложно, но скорее вопрос в цене.

 

Если все же надумаете сделать на джуне, могу помочь с настройкой.

Link to post
Share on other sites
1 минуту назад, CuriousMouse сказал:

 

Если все же надумаете сделать на джуне, могу помочь с настройкой.

спасибо, учту

Link to post
Share on other sites

Значит набрать 5000 абонентов это норм. И строить сеть из говна и палок это тоже норм.

Купите джунипер,только не тут на форуме, а поищите "белых" продаванов. Возможно приятно удивитесь.

  • Like 1
Link to post
Share on other sites
29 минут назад, l1ght сказал:

Значит набрать 5000 абонентов это норм. И строить сеть из говна и палок это тоже норм.

Купите джунипер,только не тут на форуме, а поищите "белых" продаванов. Возможно приятно удивитесь.

при всём уважении, не судите, не зная ситуации.

это агломерат, условия продиктованы не мной.

Link to post
Share on other sites
41 минуту назад, l1ght сказал:

Купите джунипер,только не тут на форуме, а поищите "белых" продаванов. Возможно приятно удивитесь.

И как джунипер поможет с распаковкой микротиковских qinq? Это EoIP какой-то или что?

Link to post
Share on other sites

я лишь сужу по PPPoE и микротикам

при всё уважении, не могу назвать это как-то иначе

Только что, KaYot сказал:

И как джунипер поможет с распаковкой микротиковских qinq? Это EoIP какой-то или что?

насколько я помню service tag просто вешает s-vlan равный c-vlan

и никакой особенной магии больше нет вроде

конечно бы чекнуть там ether type не помешало б

а так если оно непрозрачное для остальных вендоров - ССЗБ, че могу сказать

Link to post
Share on other sites
25 минут назад, l1ght сказал:

я лишь сужу по PPPoE и микротикам

при всё уважении, не могу назвать это как-то иначе

насколько я помню service tag просто вешает s-vlan равный c-vlan

и никакой особенной магии больше нет вроде

конечно бы чекнуть там ether type не помешало б

а так если оно непрозрачное для остальных вендоров - ССЗБ, че могу сказать

это что-то вроде

ether1 | (10.0.0.1)

               vlan123 | (10.1.0.1) - RouterBOARD

                     |           vlan345 (10.2.0.1)

                     |           vlan345 (10.2.0.2)

               vlan123 |  (10.1.0.2) - RouterBOARD

ether9 | (10.0.0.2)

 

где vlan123 - вилан провайдера-транспорта

vlan345 - мой вилан (их десятки/сотни)

ether1 и ether9 - интерфейсы моих железок

Link to post
Share on other sites
1 минуту назад, l1ght сказал:

ну банальный q-in-q должен пролезть легко

главное что б с мту было всё ок

в реализации d-link долбался я с этим очень долго, не получается совсем

Link to post
Share on other sites

Обычной верхний тег в таких транспортах снимают на порту приходящем к вам. Зачем он вам двойной?

Ну а дальше - Linux + accelppp, он же и шейпером будет, и трафик считать, и 10Г пропустит на железе что я выше давал.

Link to post
Share on other sites
1 минуту назад, l1ght сказал:

я чую там топология очень веселая

ну как сказать, она в принципе адекватная, самая сложность - это пропустить через транспорт всё

2 минуты назад, KaYot сказал:

Обычной верхний тег в таких транспортах снимают на порту приходящем к вам. Зачем он вам двойной?

Ну а дальше - Linux + accelppp, он же и шейпером будет, и трафик считать, и 10Г пропустит на железе что я выше давал.

как вариант, да.

а как надежность accelppp для такого количества пппое?

Link to post
Share on other sites
Только что, KaYot сказал:

Accel это просто сигнальная обертка, надежность упирается в линукс. А он цуко надежен))

для Accel есть читабельный интерфейс? Для техподдержки нужно уже

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By Alain_MG
      Всем привет, Я работаю над проектом GPON с оборудованием OLT GP2508. Я пришел к этапу «АВТОРИЗАЦИЯ» на уровне сервера Freeradius. Мой сабик и вопрос в том, что я хочу создать профиль 512M например на сервере Freeradius, и еще я не хочу ограничение пропускной способности не на уровне сервера PPPoE а скорее на OLT, как сделать чтобы профиль создавался на OLT будет на уровне RADIUS? СПАСИБО
    • By apels1n
      Доброго времени суток, есть два микрота CCR1036 в качестве брасов. На первом ~800 абонов, на втором ~1000. Оба микрота имеют шейпер на simple queue и нат. С обоими микротами есть проблема, а именно при пппое скорость загрузки 950+ мегабит, а скорость отдачи еле достигает 350 мегабит. Если мерять минуя пппое и шейпер, воткнувшись в микрот напрямую и получув адрес по дхцп, то скорость стабильно 970 мегабит в обе стороны. Пробовал поменять pps для шейпера, поставил вместо 50 pps 500 и скорость отдачи начала доходить до 400 мегабит. У микротов аплинки 10г по оптике, средний трафик с микрота в районе 1.5 - 2 Гбита. Упора в процессор нет, средняя нагрузка в пределах 15-30%. Подскажите в чём может быть дело?
       
      Конфиг
      /interface bridge add admin-mac=08:55:31:B4:51:F8 auto-mac=no name=bridge1 add disabled=yes name=loopback /interface ethernet set [ find default-name=ether2 ] comment=Test_routers /interface vlan add interface=sfp-sfpplus2 name=vlan36 vlan-id=36 add interface=sfp-sfpplus2 name=vlan101 vlan-id=101 add interface=sfp-sfpplus2 name=vlan102 vlan-id=102 add interface=sfp-sfpplus2 name=vlan103 vlan-id=103 add interface=sfp-sfpplus2 name=vlan104 vlan-id=104 add interface=sfp-sfpplus2 name=vlan105 vlan-id=105 add interface=sfp-sfpplus2 name=vlan106 vlan-id=106 add interface=sfp-sfpplus2 name=vlan107 vlan-id=107 add interface=sfp-sfpplus2 name=vlan108 vlan-id=108 add interface=sfp-sfpplus2 name=vlan109 vlan-id=109 add interface=sfp-sfpplus2 name="vlan1426" vlan-id=1426 add interface=sfp-sfpplus2 name=vlan1543 vlan-id=1543 /interface list add name=management /ip pool add name=pool1 ranges=192.168.100.10-192.168.100.20 /ip dhcp-server add address-pool=pool1 interface=ether7 name=dhcp-88 /port set 0 name=serial0 set 1 name=serial1 /ppp profile add change-tcp-mss=yes dns-server=XX.XX.XX.1 local-address=198.18.0.1 name=\ PPPtP add change-tcp-mss=yes dns-server=XX.XX.XX.1 local-address=XX.XX.XX.100 \ name=PPPoE use-compression=no use-encryption=no /queue type set 0 pfifo-limit=500 /routing bgp template set default as=4XXX9 disabled=no input.filter=bgp-in nexthop-choice=\ force-self output.filter-chain=bgp-out .redistribute=connected router-id=\ XX.XX.XX.100 routing-table=main /interface bridge port add bridge=bridge1 interface=ether8 pvid=101 /ip neighbor discovery-settings set discover-interface-list=management /ip settings set max-neighbor-entries=8192 /ipv6 settings set disable-ipv6=yes forward=no max-neighbor-entries=8192 /interface list member add interface=ether8 list=management /interface pppoe-server server add default-profile=PPPoE disabled=no interface=vlan101 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan102 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=7 add default-profile=PPPoE disabled=no interface=vlan103 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan104 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan105 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=7 add default-profile=PPPoE disabled=no interface=vlan106 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan107 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=7 add default-profile=PPPoE disabled=no interface=vlan108 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan109 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=6 add default-profile=PPPoE disabled=no interface=vlan36 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 pado-delay=7 service-name=vlan36 add default-profile=PPPoE disabled=no interface=ether2 keepalive-timeout=60 \ max-mru=1480 max-mtu=1480 mrru=1600 /interface pptp-server server set default-profile=PPPtP /ip address add address=XX.XX.XX.100/25 comment="UP IP (NAT no_money)" interface=\ sfp-sfpplus2 network=XX.XX.XX.0 add address=XX.XX.XX.59 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.59 add address=XX.XX.XX.60 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.60 add address=XX.XX.XX.61 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.61 add address=XX.XX.XX.62 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.62 add address=XX.XX.XX.63 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.63 add address=XX.XX.XX.64 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.64 add address=XX.XX.XX.65 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.65 add address=XX.XX.XX.66 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.66 add address=XX.XX.XX.67 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.67 add address=XX.XX.XX.68 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.68 add address=XX.XX.XX.69 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.69 add address=XX.XX.XX.70 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.70 add address=XX.XX.XX.71 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.71 add address=XX.XX.XX.72 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.72 add address=XX.XX.XX.73 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.73 add address=XX.XX.XX.74 comment="For NAT" interface=sfp-sfpplus2 network=\ XX.XX.XX.74 add address=198.18.0.100 comment="For OSPF" disabled=yes interface=loopback \ network=198.18.0.100 add address=192.168.100.1/24 comment=test interface=ether7 network=\ 192.168.100.0 add address=XX.XX.XX.59/29 interface="vlan1426 " network=\ XX.XX.XX.56 add address=10.5.4.2/30 comment="local-management(DONT_TOUCH)" interface=\ ether8 network=10.5.4.0 add address=XX.XX.XX.4/29 interface=vlan1543 network=\ XX.XX.XX.0 /ip dhcp-server network add address=192.168.100.0/24 dns-server=XX.XX.XX.1 gateway=192.168.100.1 netmask=24 /ip dns set servers=XX.XX.XX.1 ip firewall address-list add address=XX.XX.XX.0/24 disabled=yes list=bgp-networks add address=city24.ua comment=city24.ua list=allow_negative add address=privat24.ua comment=privat24.ua list=allow_negative add address=next.privat24.ua comment=next.privat24.ua list=allow_negative /ip firewall nat add action=same chain=srcnat comment="Corp100 -> XX.XX.XX.100" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.100.0/24 to-addresses=XX.XX.XX.100 add action=same chain=srcnat comment="192.168.240.0/24 -> XX.XX.XX.59" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.240.0/24 to-addresses=XX.XX.XX.59 add action=same chain=srcnat comment="192.168.241.0/24 -> XX.XX.XX.60" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.241.0/24 to-addresses=XX.XX.XX.60 add action=same chain=srcnat comment="192.168.242.0/24 -> XX.XX.XX.61" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.242.0/24 to-addresses=XX.XX.XX.61 add action=same chain=srcnat comment="192.168.243.0/24 -> XX.XX.XX.62" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.243.0/24 to-addresses=XX.XX.XX.62 add action=same chain=srcnat comment="192.168.244.0/24 -> XX.XX.XX.63" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.244.0/24 to-addresses=XX.XX.XX.63 add action=same chain=srcnat comment="192.168.245.0/24 -> XX.XX.XX.64" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.245.0/24 to-addresses=XX.XX.XX.64 add action=same chain=srcnat comment="192.168.246.0/24 -> XX.XX.XX.65" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.246.0/24 to-addresses=XX.XX.XX.65 add action=same chain=srcnat comment="192.168.247.0/24 -> XX.XX.XX.66" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.247.0/24 to-addresses=XX.XX.XX.66 add action=same chain=srcnat comment="192.168.248.0/24 -> XX.XX.XX.67" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.248.0/24 to-addresses=XX.XX.XX.67 add action=same chain=srcnat comment="192.168.249.0/24 -> XX.XX.XX.68" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.249.0/24 to-addresses=XX.XX.XX.68 add action=same chain=srcnat comment="192.168.250.0/24 -> XX.XX.XX.69" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.250.0/24 to-addresses=XX.XX.XX.69 add action=same chain=srcnat comment="192.168.251.0/24 -> XX.XX.XX.70" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.251.0/24 to-addresses=XX.XX.XX.70 add action=same chain=srcnat comment="192.168.252.0/24 -> XX.XX.XX.71" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.252.0/24 to-addresses=XX.XX.XX.71 add action=same chain=srcnat comment="192.168.253.0/24 -> XX.XX.XX.72" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.253.0/24 to-addresses=XX.XX.XX.72 add action=same chain=srcnat comment="192.168.254.0/24 -> XX.XX.XX.73" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.254.0/24 to-addresses=XX.XX.XX.73 add action=same chain=srcnat comment="192.168.255.0/24 -> XX.XX.XX.74" \ out-interface=sfp-sfpplus2 same-not-by-dst=yes src-address=\ 192.168.255.0/24 to-addresses=XX.XX.XX.74 add action=same chain=dstnat disabled=yes dst-address-list=pub_dns \ same-not-by-dst=no to-addresses=XX.XX.XX.1 add action=same chain=srcnat comment="negative 192.168 -> XX.XX.XX.100" \ dst-address-list=allow_negative out-interface=sfp-sfpplus2 \ same-not-by-dst=yes src-address-list=negative to-addresses=XX.XX.XX.100 add action=dst-nat chain=dstnat comment="Negative redirect to Billing" \ dst-port=80,443 log-prefix=Negtive protocol=tcp src-address-list=negative \ to-addresses=XX.XX.XX.236 to-ports=2096 add action=masquerade chain=srcnat dst-address-list=fix-blocked-sites \ out-interface-list=bypass src-address-list=!negative to-addresses=\ 78.154.181.59 /ip firewall raw add action=drop chain=prerouting comment=Block-RU disabled=yes \ dst-address-list=block add action=drop chain=prerouting comment="Full block TCP negative (not WWW)" \ dst-address-list=!allow_negative dst-port=!53 protocol=tcp \ src-address-list=negative add action=drop chain=prerouting comment="Full block UDP negative (not WWW)" \ dst-address-list=!allow_negative dst-port=!53 protocol=udp \ src-address-list=negative add action=drop chain=prerouting comment=Block-WInBox-not-from-management \ dst-port=8291 protocol=tcp src-address-list=!allowed_management add action=drop chain=prerouting comment=Block-SSH-not-from-management \ dst-port=7722 protocol=tcp src-address-list=!allowed_management add action=drop chain=prerouting comment=Block-SNMP-not-from-zabbix dst-port=\ 161 protocol=udp src-address=!XX.XX.XX.236 /ip route add disabled=no dst-address=0.0.0.0/0 gateway=XX.XX.XX.1 /ppp aaa set interim-update=5m use-radius=yes /radius add address=XX.XX.XX.236 comment=Billing service=ppp /radius incoming set accept=yes port=XXXX /routing bgp connection add as=4XXX9 disabled=no input.filter=ospf-in listen=yes local.address=\ XX.XX.XX.100 .role=ibgp name=border nexthop-choice=force-self \ output.filter-chain=ospf-out .redistribute=connected remote.address=\ XX.XX.XX.1/25 .as=4XXX9 router-id=XX.XX.XX.100 routing-table=main \ templates=default add cisco-vpls-nlri-len-fmt=auto-bits connect=yes listen=yes local.role=ibgp \ name=mikrot101 nexthop-choice=force-self remote.address=XX.XX.XX.101 \ .as=4XXX9 .port=179 templates=default /routing filter rule add chain=ibgp-in disabled=no rule=\ "if (dst in XX.XX.XX.128/25 && dst-len==32) {accept} else {reject}" add chain=ibgp-out disabled=no rule=\ "if (dst in XX.XX.XX.128/25 && dst-len==32) {accept} else {reject}" /system logging set 0 topics=info,!ppp,!pppoe set 1 topics=error,!ppp /system ntp client set enabled=yes /system ntp client servers add address=0.ua.pool.ntp.org add address=1.ua.pool.ntp.org add address=2.ua.pool.ntp.org add address=3.ua.pool.ntp.org /tool bandwidth-server set enabled=no /tool mac-server set allowed-interface-list=management /tool mac-server mac-winbox set allowed-interface-list=management /tool mac-server ping set enabled=no  
    • By rusol
      Всем привет.
       
      Прошу помощи, не могу уже больше года побороть одну проблему.
       
      Иногда (раз в неделю, раз в месяц...), в основном в час пик, резко вырастает interrupt на одном из четырех ядер на сервере, на котором FreeBSD 10.1 + Nodeny + IPFW + PF + DHCP, при этом клиенты жалуются, что очень тупит интернету.
       
      Я этот симптом вижу на сервере так через top -SHPi:

       
       
      Так же наблюдаю значительное увеличение пакетов через команду netstat -hdw1 -i ix0
       
      Помогает в таких ситуациях следующее:
       
      1. Выключение на пару секунд и включение всех клиентских портов на центральном коммутаторе.
      2. Выключение по одному порту на центральном коммутаторе, но не всегда этот метод срабатывает.
      3. Иногда помогает перезагрузка сервера (но не всегда).
       
      Подскажите, на что в такой ситуации еще обратить внимание? Я ведь купирую следствие проблемы, но саму проблему не могу определить.
       
      Готов заплатить за помощь.
       
    • By ppv
      Підкажіть, як правильно витягувати неактивних користувачів з address-list DENY. При налаштуваннях нище при зміні балансу на позитивний сесія не розривається, відповідно користувач не перепідключається з іншими параметрами.  Скеруйте в правильному напрямку якщо хтось реалізовував.  Білінг тестовий, цікава реалізація.
       

       
    • By LENS
      Продолжаем делать хорошие дела!
       
      Нам нужно сделать два добрых дела:
      Найти нового хозяина для сервера в корпусе 2U - 3.3 Ghz и 4Gb RAM. Отличный вариант для провайдеров как BRAS сервер! В комплекте рельсы для установки в шкаф Помочь больным детям  
       
      Стартовая цена 999 грн
      Заявки до 20:00 20 Декабря 2021 и кто даст больше, тому сервер и достанется.
      Далее выбираете нескольких детей на https://dobro.ua/ и отправляете переводы на общую сумму, скидываете сюда скрины и сервер ваш.
      Забрать сервер можно в Киеве, либо новой почтой.






×
×
  • Create New...