Перейти до

Не получаеться прокачать > 1Gbps на FreeBSD


Рекомендованные сообщения

Здравствуйте. Не могу прокачать через роутер на FreeBSD 9 больше 1 Гбит. (lagg 2-х портов). На машине только 27 правил IPFW (NAT+Shaping). IPoE.
lagg0 (VLAN's + shaping) - два адаптера igb
lagg1 (NAT, tso отключен) - два адаптера em

Видно что нагрузка паралелиться нормально, загрузка ЦПУ не высокая. Не могу найти узкое место.
Отключение шейпера не помогает.

Помогите!

# uname -a

FreeBSD router 9.1-RELEASE-p3 FreeBSD 9.1-RELEASE-p3 #0: Tue Apr 30 20:02:00 EEST 2013     root@south:/usr/obj/usr/src/sys/ROUTER  amd64
# top -aSPHI

last pid: 91712;  load averages:  2.18,  2.06,  1.97                                                                                           up 20+22:28:36  17:40:22
120 processes: 7 running, 87 sleeping, 26 waiting
CPU 0:  0.0% user,  0.0% nice,  1.6% system, 38.6% interrupt, 59.8% idle
CPU 1:  0.0% user,  0.0% nice,  7.1% system, 37.0% interrupt, 55.9% idle
CPU 2:  0.0% user,  0.0% nice,  3.9% system, 38.6% interrupt, 57.5% idle
CPU 3:  0.0% user,  0.0% nice, 15.7% system, 26.8% interrupt, 57.5% idle
Mem: 59M Active, 1102M Inact, 942M Wired, 800M Buf, 5529M Free
Swap: 16G Total, 16G Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   12 root     -72    -     0K   448K RUN     1 153:39 72.22% [intr{swi1: netisr 0}]
   11 root     155 ki31     0K    64K RUN     1 494.2H 65.19% [idle{idle: cpu1}]
   11 root     155 ki31     0K    64K CPU2    2 494.3H 64.65% [idle{idle: cpu2}]
   11 root     155 ki31     0K    64K RUN     0 493.3H 63.38% [idle{idle: cpu0}]
   11 root     155 ki31     0K    64K CPU3    3 496.4H 62.55% [idle{idle: cpu3}]
   12 root     -92    -     0K   448K WAIT    2  58:49  9.38% [intr{irq266: igb0:que}]
   12 root     -92    -     0K   448K WAIT    2  59:32  9.03% [intr{irq271: igb1:que}]
   12 root     -92    -     0K   448K CPU1    1  59:09  8.94% [intr{irq265: igb0:que}]
   12 root     -92    -     0K   448K WAIT    3  57:52  8.01% [intr{irq272: igb1:que}]
   12 root     -92    -     0K   448K WAIT    1  59:32  7.96% [intr{irq270: igb1:que}]
   12 root     -92    -     0K   448K WAIT    3  55:47  7.81% [intr{irq267: igb0:que}]
   12 root     -92    -     0K   448K WAIT    0  55:24  7.23% [intr{irq264: igb0:que}]
   12 root     -92    -     0K   448K WAIT    0  56:57  6.69% [intr{irq269: igb1:que}]
   12 root     -92    -     0K   448K WAIT    3 203:34  4.74% [intr{irq275: em1:rx 0}]
    0 root     -92    0     0K   336K -       2 427:03  2.64% [kernel{dummynet}]
    0 root     -92    0     0K   336K -       3 206:57  2.54% [kernel{em0 que}]
86278 root      20    0 33348K  8588K select  0   8:35  0.54% /usr/local/sbin/snmpd -p /var/run/net_snmpd.pid -r
   12 root     -92    -     0K   448K WAIT    2   7:56  0.20% [intr{irq276: em1:tx 0}]


# cat /etc/sysctl.conf

# IGB driver
dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096

# EM driver
dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.0.rx_processing_limit=4096

dev.em.1.rx_int_delay=200
dev.em.1.tx_int_delay=200
dev.em.1.rx_abs_int_delay=4000
dev.em.1.tx_abs_int_delay=4000
dev.em.1.rx_processing_limit=4096

# TCP/IP stack
net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=0
net.inet.ip.redirect=0
net.inet.tcp.delayed_ack=0
net.inet.tcp.recvbuf_max=4194304
net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.sack.enable=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.nolocaltimewait=1
net.inet.ip.ttl=255
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.udp.recvspace=64080
net.inet.ip.rtmaxcache=1024
net.inet.ip.intr_queue_maxlen=5120
kern.ipc.nmbclusters=824288
kern.ipc.maxsockbuf=83886080
kern.ipc.maxsockets=102400
net.inet.tcp.recvspace=95536
net.inet.tcp.sendspace=95536
net.local.stream.recvspace=32768
net.local.stream.sendspace=32768
kern.ipc.somaxconn=32768
net.inet.tcp.maxtcptw=65535

# IPFW
net.inet.ip.fw.one_pass=1
net.inet.ip.fw.dyn_max=65535
net.inet.ip.fw.dyn_buckets=2048
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.verbose=0

# Dummynet
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=65536
net.inet.ip.dummynet.pipe_slot_limit=1000

# ICMP
net.inet.icmp.icmplim=3000
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0

# /dev/random optimize networking
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0

net.inet.raw.maxdgram=16384
net.inet.raw.recvspace=16384

net.route.netisr_maxqlen=8192
net.inet.ip.intr_queue_maxlen=10240

net.isr.dispatch=deferred


# cat /boot/loader.conf

# Main
loader_logo="beastie"
autoboot_delay=3
geom_mirror_load="YES"

# IGB tuning
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.rx_process_limit=4096
hw.igb.max_interrupt_rate=32000
hw.igb.num_queues=4
hw.igb.fc_setting=0
hw.igb.lro=0

# EM tuning
hw.em.rxd=4096
hw.em.txd=4096
hw.em.rx_process_limit=4096
hw.em.fc_setting=0
dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.1.rx_int_delay=200
dev.em.1.tx_int_delay=200
dev.em.1.rx_abs_int_delay=4000
dev.em.1.tx_abs_int_delay=4000

# Networking
net.isr.maxthreads=4
net.isr.bindthreads=0
net.inet.tcp.tcbhashsize=32000
net.link.ifqmaxlen=10240
net.isr.defaultqlimit=8192


# vmstat -i

interrupt                          total       rate
irq20: ehci1                     4171628          2
irq21: atapci0                   1561194          0
irq22: ehci0+                    2713150          1
cpu0:timer                   14622957598       8082
irq264: igb0:que 0             515616328        284
irq265: igb0:que 1             738456087        408
irq266: igb0:que 2             711371660        393
irq267: igb0:que 3             462738813        255
irq268: igb0:link                      3          0
irq269: igb1:que 0             656044816        362
irq270: igb1:que 1             546931002        302
irq271: igb1:que 2             617173223        341
irq272: igb1:que 3             644295672        356
irq273: igb1:link                      4          0
irq274: em0                    557400132        308
irq275: em1:rx 0               424252744        234
irq276: em1:tx 0               708469817        391
irq277: em1:link                       2          0
cpu3:timer                     678408141        374
cpu1:timer                     674674076        372
cpu2:timer                     621495291        343
Total                        23188731381      12816


# netstat -w1

            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      442k     0     0       304M       457k     0       393M     0
      449k     0     0       308M       463k     0       395M     0
      445k     0     0       304M       461k     0       393M     0
      439k     0     0       303M       456k     0       393M     0
      434k     0     0       297M       450k     0       387M     0
      440k     0     0       301M       456k     0       392M     0
      438k     0     0       300M       455k     0       391M     0


# ifconfig lagg0   (смотрит в сторону абонентов, там 500 VLAN'ов)

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
        ether a0:36:9f:16:d0:9c
        media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>


# ifconfig lagg1    - (внешний, NAT)

lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=4209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWTSO>
        ether 00:1e:67:59:ea:89
        inet ХХХ.ХХХ.ХХХ.14 netmask 0xffffffe0 broadcast ХХХ.ХХХ.ХХХ.31
        inet ХХХ.ХХХ.ХХХ.70 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.70
        inet ХХХ.ХХХ.ХХХ.71 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.71
        inet ХХХ.ХХХ.ХХХ.72 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.72
        inet ХХХ.ХХХ.ХХХ.73 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.73
        inet ХХХ.ХХХ.ХХХ.74 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.74
        inet ХХХ.ХХХ.ХХХ.75 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.75
        inet ХХХ.ХХХ.ХХХ.76 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.76
        inet ХХХ.ХХХ.ХХХ.77 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.77
        inet ХХХ.ХХХ.ХХХ.78 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.78
        inet ХХХ.ХХХ.ХХХ.79 netmask 0xffffffff broadcast ХХХ.ХХХ.ХХХ.79
        inet ХХХ.ХХХ.ХХХ.33 netmask 0xfffffff0 broadcast ХХХ.ХХХ.ХХХ.47
        media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>


# vmstat -z

ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               208,      0,      78,       7,      78,   0,   0
UMA Zones:              896,      0,      78,       2,      78,   0,   0
UMA Slabs:              568,      0,    5686,       5,   32955,   0,   0
UMA RCntSlabs:          568,      0,   22419,       2,   22419,   0,   0
UMA Hash:               256,      0,       2,      13,       3,   0,   0
16 Bucket:              152,      0,     149,       1,     149,   0,   0
32 Bucket:              280,      0,     149,       5,     149,  20,   0
64 Bucket:              536,      0,     130,       3,     130,  74,   0
128 Bucket:            1048,      0,    6160,       2,    6160,8439,   0
VM OBJECT:              232,      0,  161818,   20406,13929237,   0,   0
MAP:                    232,      0,       7,      25,       7,   0,   0
KMAP ENTRY:             120, 268925,      47,     449,   73677,   0,   0
MAP ENTRY:              120,      0,    1728,    1992,37495368,   0,   0
fakepg:                 120,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     263,       0,     263,   0,   0
16:                      16,      0,    3398,     802,22358664,   0,   0
32:                      32,      0,    5735,     729, 2106934,   0,   0
64:                      64,      0,    7141,  101667,41978891,   0,   0
128:                    128,      0,  810092,   79570,196238506,   0,   0
256:                    256,      0,   14850,   41235,6935866992,   0,   0
512:                    512,      0,    5732,   55168, 2078959,   0,   0
1024:                  1024,      0,      88,     168,  987143,   0,   0
2048:                  2048,      0,    5532,     362,   22739,   0,   0
4096:                  4096,      0,     268,     191,  684090,   0,   0
Files:                   80,      0,     105,     435,22543148,   0,   0
TURNSTILE:              136,      0,     370,      50,     370,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1184,      0,      57,     105,  591761,   0,   0
THREAD:                1128,      0,     222,     147,   12478,   0,   0
SLEEPQUEUE:              80,      0,     370,      65,     370,   0,   0
VMSPACE:                392,      0,      39,     191,  591716,   0,   0
cpuset:                  72,      0,      79,     171,      88,   0,   0
audit_record:           960,      0,       0,       0,       0,   0,   0
mbuf_packet:            256,      0,   41467,    3077,9532545993,   0,   0
mbuf:                   256,      0,       2,     904,5790938122,   0,   0
mbuf_cluster:          2048, 824288,   44544,     294,  276197,   0,   0
mbuf_jumbo_page:       4096,  12800,       0,       0,       0,   0,   0
mbuf_jumbo_9k:         9216,   6400,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,   3200,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,     672,   70088,   0,   0
g_bio:                  232,      0,       0,   17072, 4685314,   0,   0
ttyinq:                 160,      0,     240,     192,    1950,   0,   0
ttyoutq:                256,      0,     126,     129,    1037,   0,   0
ata_request:            328,      0,       0,     144, 1561787,   0,   0
ata_composite:          336,      0,       0,       0,       0,   0,   0
VNODE:                  480,      0,  169954,   13078,16272592,   0,   0
VNODEPOLL:              112,      0,       2,     163,       4,   0,   0
S VFS Cache:            108,      0,   57479,   96070,11353758,   0,   0
STS VFS Cache:          148,      0,       0,       0,       0,   0,   0
L VFS Cache:            328,      0,   20956,   30584, 5466064,   0,   0
LTS VFS Cache:          368,      0,       0,       0,       0,   0,   0
NAMEI:                 1024,      0,       0,     112,46053896,   0,   0
NCLNODE:                568,      0,       0,       0,       0,   0,   0
DIRHASH:               1024,      0,    5572,     604,   11728,   0,   0
Mountpoints:            792,      0,       5,      10,       5,   0,   0
pipe:                   728,      0,       7,      98,  247705,   0,   0
ksiginfo:               112,      0,     152,     904,   68315,   0,   0
itimer:                 344,      0,       0,      77,    1007,   0,   0
KNOTE:                  128,      0,       0,     290,   32507,   0,   0
socket:                 680, 102402,      29,     121,12054183,   0,   0
unpcb:                  240, 102400,      19,     173,  172158,   0,   0
ipq:                     56,  25767,       1,     629,   12959,   0,   0
udp_inpcb:              392, 102400,       2,     118,11647270,   0,   0
udpcb:                   16, 102480,       2,     670,11647270,   0,   0
tcp_inpcb:              392, 102400,       6,      94,   45723,   0,   0
tcpcb:                  976, 102400,       6,      90,   45723,   0,   0
tcptw:                   72,  65550,       0,     300,   13261,   0,   0
syncache:               152,  15375,       0,     175,   14338,   0,   0
hostcache:              136,  15372,       3,     137,     134,   0,   0
tcpreass:                40,  51576,       0,     672,  127101,   0,   0
sackhole:                32,      0,       0,       0,       0,   0,   0
ripcb:                  392, 102400,       1,      89,  188675,   0,   0
rtentry:                200,      0,    1169,     142,    5689,   0,   0
IPFW dynamic rule:      120,      0,       0,       0,       0,   0,   0
selfd:                   56,      0,     271,     674,39386476,   0,   0
SWAPMETA:               288, 116519,       0,       0,       0,   0,   0
FFS inode:              168,      0,  169914,   13104,16272262,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,  169914,   13071,16272260,   0,   0



# netstat -w1 -I em0

            input          (em0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      101k     0     0       111M        36k     0        13M     0
      101k     0     0       112M        36k     0        13M     0
      100k     0     0       112M        37k     0        13M     0


# netstat -w1 -I em1

            input          (em1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      100k     0     0       111M        37k     0       9.1M     0
      102k     0     0       113M        39k     0        10M     0
       91k     0     0       101M        38k     0       9.7M     0


# netstat -w1 -I igb0

            input         (igb0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
       39k     0     0       9.1M        51k     0        57M     0
       38k     0     0       9.1M        49k     0        54M     0
       39k     0     0       9.4M        51k     0        56M     0


# netstat -w1 -I igb1

            input         (igb1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
       36k     0     0        14M        48k     0        56M     0
       35k     0     0        14M        50k     0        59M     0
       34k     0     0        13M        48k     0        57M     0


# netstat -w1 -I lagg0

            input        (lagg0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
       75k     0     0        23M        98k     0       113M     0
       73k     0     0        21M        98k     0       113M     0
       73k     0     0        23M        98k     0       112M     0


# netstat -w1 -I lagg1

            input        (lagg1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      100k     0     0       112M        74k     0        24M     0
      101k     0     0       113M        73k     0        24M     0
      102k     0     0       114M        74k     0        24M     0


# cat /sys/amd64/conf/ROUTER

cpu             HAMMER
ident           SOUTH-ROUTER

options         SCHED_ULE               # ULE scheduler
options         PREEMPTION              # Enable kernel thread preemption
options         INET                    # InterNETworking
options         FFS                     # Berkeley Fast Filesystem
options         SOFTUPDATES             # Enable FFS soft updates support
options         UFS_ACL                 # Support for access control lists
options         UFS_DIRHASH             # Improve performance on big directories
options         UFS_GJOURNAL            # Enable gjournal-based UFS journaling
options         MD_ROOT                 # MD is a potential root device
options         NFSCL                   # New Network Filesystem Client
options         NFSD                    # New Network Filesystem Server
options         NFSLOCKD                # Network Lock Manager
options         NFS_ROOT                # NFS usable as /, requires NFSCL
options         MSDOSFS                 # MSDOS Filesystem
options         CD9660                  # ISO 9660 Filesystem
options         PROCFS                  # Process filesystem (requires PSEUDOFS)
options         PSEUDOFS                # Pseudo-filesystem framework
options         GEOM_PART_GPT           # GUID Partition Tables.
options         GEOM_RAID               # Soft RAID functionality.
options         GEOM_LABEL              # Provides labelization
options         COMPAT_FREEBSD32        # Compatible with i386 binaries
options         COMPAT_FREEBSD4         # Compatible with FreeBSD4
options         COMPAT_FREEBSD5         # Compatible with FreeBSD5
options         COMPAT_FREEBSD6         # Compatible with FreeBSD6
options         COMPAT_FREEBSD7         # Compatible with FreeBSD7
options         SYSVSHM                 # SYSV-style shared memory
options         SYSVMSG                 # SYSV-style message queues
options         SYSVSEM                 # SYSV-style semaphores
options         _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options         PRINTF_BUFR_SIZE=128    # Prevent printf output being interspersed.
options         KBD_INSTALL_CDEV        # install a CDEV entry in /dev
options         HWPMC_HOOKS             # Necessary kernel hooks for hwpmc(4)
options         AUDIT                   # Security event auditing
options         MAC                     # TrustedBSD MAC Framework
options         INCLUDE_CONFIG_FILE     # Include this file in kernel
options         KDB                     # Kernel debugger related code
options         KDB_TRACE               # Print a stack trace for a panic
options         SMP                     # Symmetric MultiProcessor Kernel

device          cpufreq
device          acpi
device          pci

device          ahci            # AHCI-compatible SATA controllers
device          ata             # Legacy ATA/SATA controllers
options         ATA_CAM         # Handle legacy controllers with CAM
options         ATA_STATIC_ID   # Static device numbering

device          scbus           # SCSI bus (required for ATA/SCSI)
device          da              # Direct Access (disks)
device          cd              # CD
device          pass            # Passthrough device (direct ATA/SCSI access)
device          ses             # Enclosure Services (SES and SAF-TE)
device          ctl             # CAM Target Layer
device          iir             # Intel Integrated RAID
device          atkbdc          # AT keyboard controller
device          atkbd           # AT keyboard
device          psm             # PS/2 mouse
device          kbdmux          # keyboard multiplexer
device          vga             # VGA video card driver
options         VESA            # Add support for VESA BIOS Extensions (VBE)
device          splash          # Splash screen and screen saver support
device          sc
options         SC_PIXEL_MODE   # add support for the raster text mode
device          agp             # support several AGP chipsets
device          uart            # Generic UART driver
device          ppc
device          ppbus           # Parallel port bus (required)
device          plip            # TCP/IP over parallel
device          ppi             # Parallel port interface device
device          puc             # Multi I/O cards and multi-channel UARTs

device          em              # Intel PRO/1000 Gigabit Ethernet Family
device          igb             # Intel PRO/1000 PCIE Server Gigabit Family

device          ixgbe           # Intel PRO/10GbE PCIE Ethernet Family
device          miibus          # MII bus support
device          loop            # Network loopback
device          random          # Entropy device
device          ether           # Ethernet support
device          vlan            # 802.1Q VLAN support
device          tun             # Packet tunnel.
device          pty             # BSD-style compatibility pseudo ttys
device          bpf             # Berkeley packet filter

device          uhci            # UHCI PCI->USB interface
device          ohci            # OHCI PCI->USB interface
device          ehci            # EHCI PCI->USB interface (USB 2.0)
device          xhci            # XHCI PCI->USB interface (USB 3.0)
device          usb             # USB Bus (required)
device          uhid            # "Human Interface Devices"
device          ukbd            # Keyboard
device          ulpt            # Printer
device          umass           # Disks/Mass storage - Requires scbus and da
device          ums             # Mouse

device          firewire        # FireWire bus code
device          fwe             # Ethernet over FireWire (non-standard!)
device          fwip            # IP over FireWire (RFC 2734,3146)
device          dcons           # Dumb console driver
device          dcons_crom      # Configuration ROM for dcons

device          lagg
device          ichwd

options         HZ=8000

options         LIBALIAS
options         IPFIREWALL
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_FORWARD
options         IPFIREWALL_NAT
options         DUMMYNET

options         ZERO_COPY_SOCKETS
options         PANIC_REBOOT_WAIT_TIME=16
options         SC_DISABLE_REBOOT
options         SC_HISTORY_SIZE=10000

Ссылка на сообщение
Поделиться на других сайтах

ну прилепите график сюда что ли с внешнего интерфейса, что бы визуально было видно что упирается. Как по мне так link aggregation это грех, купите сетевую 10гбит они не такие дорогие

Відредаговано zeleniy
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Я б купил 10G сетевуху, но у меня сейчас нет свободных 10G портов на свитче...

post-13324-0-69084200-1373568066_thumb.png

post-13324-0-17384000-1373568067_thumb.png

post-13324-0-57464000-1373568686_thumb.png

post-13324-0-05683100-1373568687_thumb.png

Відредаговано mlevel
Ссылка на сообщение
Поделиться на других сайтах

конфиг свитча выложите, может у вас наcтроено незнаю как во freebsd , но в линуксе есть:

1. balance-rr (Этот режим используется по-умолчанию, если в настройках не указано другое. balance-rr обеспечивает балансировку нагрузки и отказоустойчивость. В данном режиме пакеты отправляются "по кругу" от первого интерфейса к последнему и сначала. Если выходит из строя один из интерфейсов, пакеты отправляются на остальные оставшиеся)

2. active-backup

3. balance-xor

4. broadcast

5. 802.3ad то что нужно вам

6. balance-tlb

7. balance-alb

Відредаговано zeleniy
Ссылка на сообщение
Поделиться на других сайтах

конфиг свитча выложите, может у вас наcтроено незнаю как во freebsd , но в линуксе есть:

1. balance-rr (Этот режим используется по-умолчанию, если в настройках не указано другое. balance-rr обеспечивает балансировку нагрузки и отказоустойчивость. В данном режиме пакеты отправляются "по кругу" от первого интерфейса к последнему и сначала. Если выходит из строя один из интерфейсов, пакеты отправляются на остальные оставшиеся)

2. active-backup

3. balance-xor

4. broadcast

5. 802.3ad то что нужно вам

6. balance-tlb

7. balance-alb

На FreeBSD: http://www.freebsd.org/doc/handbook/network-aggregation.html

ifconfig_lagg0="laggproto lacp laggport igb0 laggport igb1"
ifconfig_lagg1="laggproto lacp laggport em0 laggport em1"

На свитче:

configure terminal
lacp system-priority 4096
aggregateport load-balance src-dst-ip
interface range GigabitEthernet 0/15-16
	no shutdown
	description AGG-2G-LINK
	lacp port-priority 4096
	port-group 2 mode passive
	flowcontrol off
	medium-type copper
	exit
interface AggregatePort 2
	no shutdown
	description AGG-2G-LINK
	flowcontrol off
	switchport mode trunk
	switchport trunk allowed vlan all
	exit

Тоесть - 802.3ad

Ссылка на сообщение
Поделиться на других сайтах

 

конфиг свитча выложите, может у вас наcтроено незнаю как во freebsd , но в линуксе есть:

1. balance-rr (Этот режим используется по-умолчанию, если в настройках не указано другое. balance-rr обеспечивает балансировку нагрузки и отказоустойчивость. В данном режиме пакеты отправляются "по кругу" от первого интерфейса к последнему и сначала. Если выходит из строя один из интерфейсов, пакеты отправляются на остальные оставшиеся)

2. active-backup

3. balance-xor

4. broadcast

5. 802.3ad то что нужно вам

6. balance-tlb

7. balance-alb

На FreeBSD: http://www.freebsd.org/doc/handbook/network-aggregation.html

ifconfig_lagg0="laggproto lacp laggport igb0 laggport igb1"
ifconfig_lagg1="laggproto lacp laggport em0 laggport em1"

На свитче:

configure terminal
lacp system-priority 4096
aggregateport load-balance src-dst-ip
interface range GigabitEthernet 0/15-16
	no shutdown
	description AGG-2G-LINK
	lacp port-priority 4096
	port-group 2 mode passive
	flowcontrol off
	medium-type copper
	exit
interface AggregatePort 2
	no shutdown
	description AGG-2G-LINK
	flowcontrol off
	switchport mode trunk
	switchport trunk allowed vlan all
	exit

Тоесть - 802.3ad

 

а что говорит свитч на:

show interfaces AggregatePort 2
Ссылка на сообщение
Поделиться на других сайтах

 

 

конфиг свитча выложите, может у вас наcтроено незнаю как во freebsd , но в линуксе есть:

1. balance-rr (Этот режим используется по-умолчанию, если в настройках не указано другое. balance-rr обеспечивает балансировку нагрузки и отказоустойчивость. В данном режиме пакеты отправляются "по кругу" от первого интерфейса к последнему и сначала. Если выходит из строя один из интерфейсов, пакеты отправляются на остальные оставшиеся)

2. active-backup

3. balance-xor

4. broadcast

5. 802.3ad то что нужно вам

6. balance-tlb

7. balance-alb

На FreeBSD: http://www.freebsd.org/doc/handbook/network-aggregation.html

ifconfig_lagg0="laggproto lacp laggport igb0 laggport igb1"
ifconfig_lagg1="laggproto lacp laggport em0 laggport em1"

На свитче:

configure terminal
lacp system-priority 4096
aggregateport load-balance src-dst-ip
interface range GigabitEthernet 0/15-16
	no shutdown
	description AGG-2G-LINK
	lacp port-priority 4096
	port-group 2 mode passive
	flowcontrol off
	medium-type copper
	exit
interface AggregatePort 2
	no shutdown
	description AGG-2G-LINK
	flowcontrol off
	switchport mode trunk
	switchport trunk allowed vlan all
	exit

Тоесть - 802.3ad

 

а что говорит свитч на:

show interfaces AggregatePort 2

 

show interfaces AggregatePort 1 - смотрит на IGB

Index(dec):28 (hex):1c
AggregatePort 1 is UP  , line protocol is UP
Hardware is Aggregate Link AggregatePort
Description: ROUTER-IGB-TRUNK
Interface address is: no ip address
  MTU 1500 bytes, BW 10000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 105/255, Txload is 15/255
  Switchport attributes:
    interface's description:"ROUTER-IGB-TRUNK"
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:148 Day:10 Hour:11 Minute:51 Second
    Priority is 0
    admin duplex mode is AUTO, oper duplex is Full
    admin speed is AUTO, oper speed is 1000M
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is OFF, flow send control oper status is OFF
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  Port-type: trunk
    Native vlan: 1
    Allowed vlan lists: 5,31-1898,1900-1925,1927-4094
    Active vlan lists: 5,31-500,555,777
Aggregate Port Informations:
        Aggregate Number: 1
        Name: "AggregatePort 1"
        Refs: 2
        Members: (count=2)
        GigabitEthernet 0/23             Link Status: Up
        GigabitEthernet 0/24             Link Status: Up


Interface : AggregatePort 1
5 minutes input rate  :810388770 bits/sec, 80612 packets/sec
5 minutes output rate :113763770 bits/sec, 55174 packets/sec
InOctets             : 9067372806427
InUcastPkts          : 7603201010
InMulticastPkts      : 477374
InBroadcastPkts      : 67520
OutOctets            : 7588729499667
OutUcastPkts         : 12116681810
OutMulticastPkts     : 10499988445
OutBroadcastPkts     : 520184774
Undersize packets    : 0
Oversize packets     : 0
collisions           : 0
Fragments            : 0
Jabbers              : 0
CRC alignment errors : 0
AlignmentErrors      : 0
FCSErrors            : 0
dropped packet events (due to lack of resources): 0
packets received of length (in octets):
  64 : 287157455
  65-127 : 911590567
  128-255 : 252939027
  256-511 : 141299790
  512-1023 : 190332258
  1024-1518 : 1526598540

show interfaces AggregatePort 2 - смотрит на EM

Index(dec):31 (hex):1f
AggregatePort 2 is UP  , line protocol is UP
Hardware is Aggregate Link AggregatePort
Description: ROUTER-EM-TRUNK
Interface address is: no ip address
  MTU 1500 bytes, BW 10000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 1/255, Txload is 1/255
  Switchport attributes:
    interface's description:"ROUTER-EM-TRUNK"
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:50 Day: 5 Hour:16 Minute:30 Second
    Priority is 0
    admin duplex mode is AUTO, oper duplex is Unknown
    admin speed is AUTO, oper speed is Unknown
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is Unknown, flow send control oper status is Unknown
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  Port-type: access
    Vlan id: 2
Aggregate Port Informations:
        Aggregate Number: 2
        Name: "AggregatePort 2"
        Refs: 2
        Members: (count=0)

Interface : AggregatePort 2
5 minutes input rate  :109818739 bits/sec, 50441 packets/sec
5 minutes output rate :736546698 bits/sec, 75760 packets/sec
InOctets             : 104650976
InUcastPkts          : 477446
InMulticastPkts      : 245910
InBroadcastPkts      : 18
OutOctets            : 259150440
OutUcastPkts         : 395645
OutMulticastPkts     : 850677
OutBroadcastPkts     : 404832
Undersize packets    : 0
Oversize packets     : 0
collisions           : 0
Fragments            : 0
Jabbers              : 0
CRC alignment errors : 0
AlignmentErrors      : 0
FCSErrors            : 0
dropped packet events (due to lack of resources): 0
packets received of length (in octets):
  64 : 36212
  65-127 : 484549
  128-255 : 154537
  256-511 : 12500
  512-1023 : 30798
  1024-1518 : 4778
Ссылка на сообщение
Поделиться на других сайтах

AggregatePort1-2

MTU 1500 bytes, BW 10000000 Kbit

Encapsulation protocol is Bridge

 

А что за модель свитча ?

D-Link DGS-3610-26G

Есть другой такой же транк, только не с FreeBSD. Там нормально пролетает 1.5 Гбит.

Ссылка на сообщение
Поделиться на других сайтах

А покажите там sh int AggPort и конфиг.

 

Может стоит попробовать в режиме конфигурации AggregatePort1 изменить параметр  на bandwidth 2000000 ?

Відредаговано loki
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

А покажите там sh int AggPort и конфиг.

 

Может стоит попробовать в режиме конфигурации AggregatePort1 изменить параметр  на bandwidth 2000000 ?

Конфигурация такая же, ничего особенного.

Bandwidth менял, ничего не изменилось. Сейчас 10000000 Kbit - ето максимально. Только сейчас трафика мало, ночь.

Index(dec):27 (hex):1b
AggregatePort 3 is UP  , line protocol is UP
Hardware is Broadcom 5464 AggregatePort
Description: LINK-TO-3120
Interface address is: no ip address
  MTU 1500 bytes, BW 10000000 Kbit
  Encapsulation protocol is Bridge, loopback not set
  Keepalive interval is 10 sec , set
  Carrier delay is 2 sec
  Rxload is 2/255, Txload is 19/255
  Switchport attributes:
    interface's description:"LINK-TO-3120"
    admin medium-type is Copper, oper medium-type is Copper
    lastchange time:20 Day: 0 Hour: 1 Minute:13 Second
    Priority is 0
    admin duplex mode is AUTO, oper duplex is Full
    admin speed is AUTO, oper speed is 1000M
    flow receive control admin status is OFF, flow send control admin status is OFF
    flow receive control oper status is OFF, flow send control oper status is OFF
    Storm Control: Broadcast is OFF, Multicast is OFF, Unicast is OFF
  Port-type: trunk
    Native vlan: 1
    Allowed vlan lists: 1-4094
    Active vlan lists: 1-500,555,777,1899,1926
Aggregate Port Informations:
        Aggregate Number: 3
        Name: "AggregatePort 3"
        Refs: 2
        Members: (count=2)
        GigabitEthernet 0/13             Link Status: Up
        GigabitEthernet 0/14             Link Status: Up


Interface : AggregatePort 3
5 minutes input rate  :27659357 bits/sec, 11223 packets/sec
5 minutes output rate :148871027 bits/sec, 15765 packets/sec
InOctets             : 60971452509546
InUcastPkts          : 190624456918
InMulticastPkts      : 890009196
InBroadcastPkts      : 236933656
OutOctets            : 318519550749059
OutUcastPkts         : 273819271220
OutMulticastPkts     : 10148026044
OutBroadcastPkts     : 492158048
Undersize packets    : 0
Oversize packets     : 33571
collisions           : 0
Fragments            : 0
Jabbers              : 0
CRC alignment errors : 0
AlignmentErrors      : 0
FCSErrors            : 0
dropped packet events (due to lack of resources): 0
packets received of length (in octets):
  64 : 107816
  65-127 : 145389761737
  128-255 : 9081890574
  256-511 : 2376504817
  512-1023 : 3992804211
  1024-1518 : 25723969445

Відредаговано mlevel
Ссылка на сообщение
Поделиться на других сайтах

 

На похожей схеме AggPort bw тоже 10000000 показывает ?  

Да.

 

странно для циски это выглядит так:



Router# show interfaces port-channel 1

Port-channel1 is up, line protocol is up  
Hardware is GEChannel, address is 0013.19b3.7748 (bia 0000.0000.0000) 
MTU 1500 bytes, BW 2000000 Kbit, DLY 10 usec,  
reliability 255/255, txload 1/255, rxload 1/255 
Encapsulation ARPA, loopback not set 
Keepalive set (10 sec) 
ARP type: ARPA, ARP Timeout 04:00:00 
No. of active members in this channel: 2  
Member 0 : GigabitEthernet3/0/0 , Full-duplex, 1000Mb/s Member 1 : GigabitEthernet7/1/0 , 
Full-duplex, 1000Mb/s 
Last input 00:00:05, output never, output hang never 
Last clearing of "show interface" counters 00:04:40 
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0 
Interface Port-channel1 queueing strategy: PXF First-In-First-Out 
Output queue 0/8192, 0 drops; input queue 0/75, 0 drops 
5 minute input rate 0 bits/sec, 0 packets/sec 
5 minute output rate 0 bits/sec, 0 packets/sec 
0 packets input, 0 bytes, 0 no buffer 
Received 0 broadcasts (0 IP multicasts) 
0 runts, 0 giants, 0 throttles 
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 
0 watchdog, 0 multicast, 0 pause input 
3 packets output, 180 bytes, 0 underruns 
0 output errors, 0 collisions, 0 interface resets 
0 babbles, 0 late collision, 0 deferred 
0 lost carrier, 0 no carrier, 0 PAUSE output 
0 output buffer failures, 0 output buffers swapped out


и оно как бы автоматом выставляется. A mode active или passive?

Відредаговано zeleniy
Ссылка на сообщение
Поделиться на других сайтах

На стороне свитча ставте active !

Стоит passive, так как на стороне FreeBSD active и там нельзя поменять. Попробую поставить два active.

Ссылка на сообщение
Поделиться на других сайтах

Судя по счетчикам на портах свича и разделению нагрузки - бондинг работает, грабли где-то в софте. Я бы на шейпер грешил.

 

Ну а вообще побуду КО, ставьте linux, не ворошите этого покойника.

Ссылка на сообщение
Поделиться на других сайтах

Судя по счетчикам на портах свича и разделению нагрузки - бондинг работает, грабли где-то в софте. Я бы на шейпер грешил.

 

Ну а вообще побуду КО, ставьте linux, не ворошите этого покойника.

Грешу на карты em - так как они встроенные.

Думал о Линуксе, но с переходом тяжко, никогда не работал толком.

Ссылка на сообщение
Поделиться на других сайтах

Если не лень поиграться, то можно попробовать например *_int_delay поувеличивать раза в 2, кол-во очередей поуменьшать, может вообще до 1-й (hw.igb.num_queues), включить net.isr.bindthreads для аффинити. Может чего-то и даст. 

 

EDIT: и еще адаптары в других слотах попробовать.

Відредаговано ttttt
Ссылка на сообщение
Поделиться на других сайтах

Грешу на карты em - так как они встроенные.

Думал о Линуксе, но с переходом тяжко, никогда не работал толком.

Слишком уж четко трафик в 1г упирается. Тут или какие-то настройки системы остались оттюненые на 1г(тот же шейпер), или бондинг все же не работает(IMHO более вероятно). В карты в данном случае упирать трафик не может, дропы были бы.

Попробуй собрать бондинг без LACP, статически. И на свиче поковыряй режимы, у длинка ж есть L2/L3/L2+L3.

Ссылка на сообщение
Поделиться на других сайтах

Я б купил 10G сетевуху, но у меня сейчас нет свободных 10G портов на свитче...

 

Тогда купите 4-х головый igb. em - в топку...

Відредаговано serjio21
Ссылка на сообщение
Поделиться на других сайтах

 

Я б купил 10G сетевуху, но у меня сейчас нет свободных 10G портов на свитче...

 

Тогда купите 4-х головый igb. em - в топку...

 

Плюсую, em для таких целей не годится.

Ссылка на сообщение
Поделиться на других сайтах

 

Грешу на карты em - так как они встроенные.

Думал о Линуксе, но с переходом тяжко, никогда не работал толком.

Слишком уж четко трафик в 1г упирается. Тут или какие-то настройки системы остались оттюненые на 1г(тот же шейпер), или бондинг все же не работает(IMHO более вероятно). В карты в данном случае упирать трафик не может, дропы были бы.

Попробуй собрать бондинг без LACP, статически. И на свиче поковыряй режимы, у длинка ж есть L2/L3/L2+L3.

 

Шейпер отключал. В FreeBSD скудная поддержка LACP, режим только active, приоритет только один статический.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від a_n_h
      Всем доброго дня и мирного неба!
        После многочисленных экспериментов выяснил, что на последних версиях freebsd  максимум удавалось прокачать до 14 ГБт суммарно трафика со 100% загрузкой процессора. На том-же железе но с установленной freebsd 11.2 прокачивается до 20-ти ГБт суммарно тестового трафика с загрузкой процессора около 50%. 
        Подскажите, что можно убрать или наоборот добавить в систему с freebsd 13,3 для получения аналогичного результата...
    • Від mac
      Здається, після оновлення PHP 7.4 до PHP 8.2 feesharvester припинив працювати:
       
      /usr/local/bin/curl "http://127.0.0.1/billing/?module=remoteapi&key={SERIAL}&action=feesharvester" <br /> <b>Fatal error</b>: Uncaught TypeError: Unsupported operand types: string - string in {UBPATH}/billing/api/libs/api.fundsflow.php:570 Stack trace: #0 {UBPATH}/billing/modules/remoteapi/feesharvester.php(22): FundsFlow-&gt;harvestFees('2024-01') ...  
      Невеличке розслідування врешті з'ясувало, що це через наявність пробілу у деяких логінах абонентів. Як так сталося? Тому що інколи був неуважно додан трейлінг пробіл до номеру будинка і цей пробіл потрапив до логіну абоненту. Логін абоненту неможливо змінити ніяким чином штатними засобами. Я не розглядаю створення нового абонента для усунення помілки.

      Був обран такий шлях вирішення проблеми. Заміну функції php explode() знайшов у мережі. Мабуть це станеться в нагоді:

       
      diff api.fundsflow.php.bak api.fundsflow.php.new 559c559 < $eachfee = explode(' ', $eachline); --- > $eachfee = preg_split("~(?<!\\\\)(?:\\\\{2})*'[^'\\\\]*(?:\\\\.[^'\\\\]*)*'(*SKIP)(*F)|\s+~s" , $eachline);  
    • Від shik
      Продам маршрутизатор Juniper MX480. Використовувався для тестування в проектах. Ціна 3500$
       
      В комплектацію входить:
       
      1. Модуль router Engine - RE-S-1300-2048-R
      2. 2*БП 1440Вт DC!!!
      3. Лінійна карта Juniper DPCE-R-4XGE-XFP 
       
      Більш детально: 
      Item             Version  Part number     Serial number         Description
      Chassis                                               JN10C7FFAAFB         MX480
      Midplane     REV 05    710-017414       TR2102                 MX480 Midplane
      FPM Board   REV 02    710-017254       WR5974               Front Panel Display
      PEM 0          Rev 02     740-017343   QCS0805A02U        DC Power Entry Module
      PEM 1          Rev 02     740-017343   QCS0805A08H        DC Power Entry Module
      RE 0             REV 17     740-015113   9009086944            RE-S-1300
      CB 0             REV 18     710-021523   ABBP2461               MX SCB
      FPC 0            REV 13   750-018124     KE6373                   DPCE 4x 10GE R
        CPU            REV 06   710-013713     KD7100                  DPC PMB
      Fan Tray                                                 Left Fan Tray
       
      Блоки живлення:
       
      MX-3> show chassis power 
      PEM 0:
        State:     Online
        DC input:  OK (1 feed expected, 1 feed connected)
        DC input:  48.0 V input (53500 mV)
        Capacity:  1440 W (maximum 1440 W)
        DC output: 265 W (zone 0, 5 A at 53 V, 18% of capacity)
      PEM 1:
        State:     Online
        DC input:  OK (1 feed expected, 1 feed connected)
        DC input:  48.0 V input (53500 mV)
        Capacity:  1440 W (maximum 1440 W)
        DC output: 0 W (zone 1, 0 A at 53 V, 0% of capacity)
      PEM 2:
        State:     Empty
        Input:     Absent
      PEM 3:
        State:     Empty
        Input:     Absent
      System:                                 
        Zone 0:
            Capacity:          1440 W (maximum 1440 W)
            Allocated power:   790 W (650 W remaining)
            Actual usage:      265 W
        Zone 1:
            Capacity:          1440 W (maximum 1440 W)
            Allocated power:   0 W (1440 W remaining)
            Actual usage:      0 W
        Total system capacity: 2880 W (maximum 2880 W)
        Total remaining power: 2090 W
       
      Версія ПЗ: 
       
      Model: mx480
      JUNOS Base OS boot [12.3R5.7]
      JUNOS Base OS Software Suite [12.3R5.7]
      JUNOS Kernel Software Suite [12.3R5.7]
      JUNOS Crypto Software Suite [12.3R5.7]
      JUNOS Packet Forwarding Engine Support (M/T/EX Common) [12.3R5.7]
      JUNOS Packet Forwarding Engine Support (MX Common) [12.3R5.7]
      JUNOS Online Documentation [12.3R5.7]
      JUNOS Services AACL Container package [12.3R5.7]
      JUNOS Services Application Level Gateways [12.3R5.7]
      JUNOS AppId Services [12.3R5.7]
      JUNOS Border Gateway Function package [12.3R5.7]
      JUNOS Services Captive Portal and Content Delivery Container package [12.3R5.7]
      JUNOS Services HTTP Content Management package [12.3R5.7]
      JUNOS IDP Services [12.3R5.7]
      JUNOS Services LL-PDF Container package [12.3R5.7]
      JUNOS Services NAT [12.3R5.7]
      JUNOS Services PTSP Container package [12.3R5.7]
      JUNOS Services RPM [12.3R5.7]
      JUNOS Services Stateful Firewall [12.3R5.7]
      JUNOS Voice Services Container package [12.3R5.7]
      JUNOS Services Example Container package [12.3R5.7]
      JUNOS Services Crypto [12.3R5.7]        
      JUNOS Services SSL [12.3R5.7]
      JUNOS Services IPSec [12.3R5.7]
      JUNOS Runtime Software Suite [12.3R5.7]
      JUNOS platform Software Suite [12.3R5.7]
      JUNOS Routing Software Suite [12.3R5.7]
       

       
       
    • Від Кузьменко.
      Куплю, можна на вінчестері, може хтось перейшов з Мікротіка...
    • Від FantoM_EscapE
      Хочу перенести свій білінг NODENY із фізичного сервера на віртуальний. Шукаю адміна який зможе допомогти у цьому питанні, так як нашого адміна банально призвали до війська. Вся схема на даний момент робоча, маю доступи до всього. Потрібно проінсталити на новішу версію FREEBSD, бо на моїй 10 річній вже не працюють нові SSL сертифікати. Кого зацікавила дана пропозиція - прошу у приватні повідомлення. обсудимо ціну і строки. або пишіть на будь-який месенджер 0677792091
×
×
  • Створити нове...