Ubilling + 3 Vlan сети не отключает клиентов

[Impulsee 0]

День добрый!

Есть Связка Ubilling+NAS на freebsd. 

Настроена на Виртуалке VMware. 

Без VLAN все работает идеально. Трафик бегает, IP раздается, Денюжка зачисляется и т.д.

Появилась потребность поднять 3 VLAN на локальном интерфейсе для Абонов. 

Сделал: /etc/rc.conf

 

  Відновити прихований контент

fsck_y_enable="YES"
sendmail_enable="NONE"

hostname="fastlan"
ifconfig_em0="inet WHITE.IP netmask 255.255.255.240"
ifconfig_em1_alias0="inet 172.16.0.1 netmask 255.255.255.0"
ifconfig_em1_alias1="inet 172.16.16.1 netmask 255.255.255.0"
ifconfig_em1_alias2="inet 172.32.0.1 netmask 255.255.255.0"
ifconfig_em1_alias3="inet WITE.LIST.2.IP netmask 255.255.255.248"

#======= VLAN config ======
cloned_interfaces="vlan15 vlan1000 vlan1200 vlan1444"
ifconfig_vlan15="inet 10.90.90.200 netmask 255.255.255.0 vlan 15 vlandev em1"
ifconfig_vlan1000="inet 172.16.1.1 netmask 255.255.255.0 vlan 1000 vlandev em1"
ifconfig_vlan1200="inet 172.16.2.1 netmask 255.255.255.0 vlan 1200 vlandev em1"
ifconfig_vlan1444="inet 172.16.3.1 netmask 255.255.255.0 vlan 1444 vlandev em1"

defaultrouter="IP.DEF.ROUT"
sshd_enable="YES"
ntpd_enable="YES"
inetd_enable="YES"
# ====== FTP Access =======
ftpd_enable="YES"
ftpd_flags="-D -l"

#powerd_enable="YES"
# Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable
dumpdev="AUTO"
# ====== added by UBinstaller ====

gateway_enable="YES"
#all needed services
mysql_enable="YES"
apache24_enable="YES"
dhcpd_enable="YES"
dhcpd_flags="-q"
dhcpd_conf="/usr/local/etc/multinet/dhcpd.conf"
dhcpd_ifaces="em1 vlan1000 vlan1200 vlan1444"

ubilling_enable="YES"
ubilling_flags="em1"

#netflow sensor
softflowd_enable="YES"
softflowd_interfaces="em1 vlan1000 vlan1200 vlan1444"
softflowd_em1_collector="127.0.0.1:42111"
softflowd_vlan1000_collector="127.0.0.1:42111"
softflowd_vlan1200_collector="127.0.0.1:42111"
softflowd_vlan1444_collector="127.0.0.1:42111"

#optional services
memcached_enable="NO"
memcached_flags="-l 127.0.0.1 -m 64"
radiusd_enable="NO"

# ==========
#access/shape/nat
firewall_enable="YES"
firewall_nat_enable="YES"
dummynet_enable="YES"
firewall_script="/etc/firewall.conf"

# ==========
arpwatch_enable="YES"
arpwatch_flags="-n 172.16.0.0/20"
arpwatch_interfaces="em1 vlan15 vlan1000 vlan1200 vlan1444"

# ========= ZABBIX ================
zabbix_agentd_enable="YES"

Вывод /etc/firewall.conf 

 

  Відновити прихований контент

#!/bin/sh

# firewall command
FwCMD="/sbin/ipfw -q"
${FwCMD} -f flush

# Interfaces setup
LAN_IF="em1"
WAN_IF="em0"

# Networks define
${FwCMD} table 2 add 172.16.0.0/24
${FwCMD} table 2 add 172.16.1.0/24
${FwCMD} table 2 add 172.16.2.0/24
${FwCMD} table 2 add 172.16.3.0/24
# White IP LIST
${FwCMD} table 10 add White.IP.list.show/29
# Routers IP LIST
${FwCMD} table 9 add 172.16.16.0/24
${FwCMD} table 9 add 10.90.90.0/24

#NAT
${FwCMD} nat 1 config log if ${WAN_IF} reset same_ports
${FwCMD} add 6000 nat 1 ip from table\(2\) to not table\(9\) out xmit ${WAN_IF}
${FwCMD} add 6001 nat 1 ip from any to me in recv ${WAN_IF}

#Shaper - table 4 download speed, table 3 - upload speed
${FwCMD} add 12001 pipe tablearg ip from any to table\(4\) via ${LAN_IF} out
${FwCMD} add 12000 pipe tablearg ip from table\(3\) to any via ${LAN_IF} in

#unknown users redirect
${FwCMD} add 5 fwd 127.0.0.1,80 ip from 172.32.0.0/24 to not me dst-port 80

#Debtors forwarding
${FwCMD} add 4 allow ip from table\(2\) to 8.8.4.4 dst-port 53 via ${LAN_IF}
${FwCMD} add 4 allow ip from 8.8.4.4 to table\(2\) src-port 53 via ${LAN_IF}
${FwCMD} add 4 allow ip from table\(2\) to me dst-port 80 via ${LAN_IF}
${FwCMD} add 4 allow ip from me to table\(2\) src-port 80 via ${LAN_IF}
${FwCMD} add 6 fwd 127.0.0.1,80 ip from table\(47\) to not me dst-port 80
${FwCMD} delete 65534

# default block policy
${FwCMD} add 65533 deny all from table\(2\) to any via ${LAN_IF}
${FwCMD} add 65534 deny all from any to table\(2\) via ${LAN_IF}
${FwCMD} add 65535 allow all from any to any

 

Сети, шаблоны NAS, в биллинге прописал. Абоны IP получают через VLAN. Интернет есть....

 

НО:

 

При отрицательном балансе на em1 все отключается мгновенно, и отправляет в кабинет. 

А на VLAN сетях Интернет есть. 

 

Кусок /var/stargazer/allconnect.log

  Відновити прихований контент

2019.05.04 03:00:01 DISCONNECT: ID-109;LOGIN-000110;IP-172.16.2.22;CASH--60.000000
2019.05.04 03:00:01 DISCONNECT: ID-100;LOGIN-000101;IP-172.16.2.88;CASH--145.000000
2019.05.04 03:00:01 DISCONNECT: ID-99;LOGIN-000100;IP-172.16.2.87;CASH--145.000000
2019.05.04 04:07:16 CONNECT: ID-100;LOGIN-000101;IP-172.16.2.88;CASH-0.000000;SPEED-51200;UPSPEED-51200,MAC-14:cc:20:f4:96:7d
2019.05.04 13:25:28 DISCONNECT: ID-9;LOGIN-000010;IP-91.142.175.186;CASH-1000.000000
2019.05.04 13:25:28 CONNECT: ID-9;LOGIN-000010;IP-91.142.175.186;CASH-1000.000000;SPEED-512000;UPSPEED-512000,MAC-00:1e:4f:d1:43:6a
2019.05.04 14:07:25 DISCONNECT: ID-9;LOGIN-000010;IP-91.142.175.186;CASH--100.000000
2019.05.04 14:11:02 CONNECT: ID-215;LOGIN-000216;IP-172.16.0.13;CASH--160.000000;SPEED-30720;UPSPEED-30720,MAC-00:1f:c6:29:dc:e5
2019.05.04 14:11:06 CONNECT: ID-9;LOGIN-000010;IP-91.142.175.186;CASH-0.000000;SPEED-512000;UPSPEED-512000,MAC-00:1e:4f:d1:43:6a
2019.05.04 14:19:35 DISCONNECT: ID-110;LOGIN-000111;IP-172.16.2.98;CASH--100.000000
2019.05.04 14:21:23 CONNECT: ID-110;LOGIN-000111;IP-172.16.2.98;CASH-0.000000;SPEED-51200;UPSPEED-51200,MAC-04:95:e6:16:de:30
2019.05.04 15:15:24 DISCONNECT: ID-19;LOGIN-000020;IP-172.16.3.2;CASH--100.000000

 

кусок /var/log/stargazer.log

 

  Відновити прихований контент

2019-05-04 02:54:48 -- ---------------------------------------------
2019-05-04 02:55:26 -- Stg v. 2.409
2019-05-04 02:55:26 -- Message queue created successfully. msgKey=5555 msgID=65536
2019-05-04 02:55:26 -- Timer thread started successfully.
2019-05-04 02:55:26 -- [store_mysql] MYSQL_STORE: Current DB schema version: 1
2019-05-04 02:55:26 -- Storage plugin: mysql_store v.0.67. Loading successfull.
2019-05-04 02:55:26 -- Users started successfully.
2019-05-04 02:55:26 -- Traffcounter started successfully.
2019-05-04 02:55:26 -- Module 'Stg Configurator v. 2.0' started successfully.
2019-05-04 02:55:26 -- Module 'Always Online authorizator v.1.0' started successfully.
2019-05-04 02:55:26 -- Module 'cap_nf v. 0.4' started successfully.
2019-05-04 02:55:26 -- Stg started successfully.
2019-05-04 02:55:26 -- +++++++++++++++++++++++++++++++++++++++++++++
2019-05-04 03:00:01 -- User: 000140. Credit expired.
2019-05-04 03:00:01 -- User: 000110. Credit expired.
2019-05-04 03:00:01 -- User: 000101. Credit expired.
2019-05-04 03:00:01 -- User: 000100. Credit expired.
......
2019-05-04 12:53:25 -- Admin 'admin', 127.0.0.1: User '000085': 'cash' parameter changed from '190.000000' to '190.000000'.
2019-05-04 12:53:25 -- Admin 'admin', 127.0.0.1: User '000085': 'nextTariff' parameter changed from '' to 'FastLanHome60'.
2019-05-04 13:25:27 -- Admin 'admin', 127.0.0.1: User '000010': 'disabled' parameter changed from '0' to '1'.
2019-05-04 13:25:27 -- Admin 'admin', 127.0.0.1: User '000010': 'disabled' parameter changed from '1' to '0'.
2019-05-04 14:07:25 -- Admin 'admin', 127.0.0.1: User '000010': 'cash' parameter changed from '1000.000000' to '-100.000000'.
2019-05-04 14:10:35 -- Admin 'admin', 127.0.0.1: User '000216': 'disabled' parameter changed from '0' to '1'.
2019-05-04 14:10:35 -- Admin 'admin', 127.0.0.1: User '000216': 'disabled' parameter changed from '1' to '0'.
2019-05-04 14:11:01 -- Admin 'admin', 127.0.0.1: User '000216': 'credit' parameter changed from '0.000000' to '160.000000'.
2019-05-04 14:11:01 -- Admin 'admin', 127.0.0.1: User '000216': 'creditExpire' parameter changed from '0' to '1557349200'.
2019-05-04 14:11:05 -- Admin 'admin', 127.0.0.1: User '000010': 'cash' parameter changed from '-100.000000' to '0.000000'.
2019-05-04 14:14:06 -- Admin 'admin', 127.0.0.1: User '000216': 'cash' parameter changed from '-160.000000' to '0.000000'.
2019-05-04 14:15:09 -- Admin 'admin', 127.0.0.1: User '000216': 'credit' parameter changed from '160.000000' to '180.000000'.
2019-05-04 14:15:09 -- Admin 'admin', 127.0.0.1: User '000216': 'creditExpire' parameter changed from '1557349200' to '1556658000'.
2019-05-04 14:15:09 -- User: 000216. Credit expired.
2019-05-04 14:19:35 -- Admin 'admin', 127.0.0.1: User '000111': 'cash' parameter changed from '0.000000' to '-100.000000'.
2019-05-04 14:20:09 -- Admin 'admin', 127.0.0.1: User '000111': 'disabled' parameter changed from '0' to '1'.
2019-05-04 14:20:09 -- Admin 'admin', 127.0.0.1: User '000111': 'disabled' parameter changed from '1' to '0'.
2019-05-04 14:21:15 -- Admin 'admin', 127.0.0.1: User '000111': 'cash' parameter changed from '-100.000000' to '-100.000000'.
2019-05-04 14:21:22 -- Admin 'admin', 127.0.0.1: User '000111': 'cash' parameter changed from '-100.000000' to '0.000000'.
201

 

Подскажите, плиз, в какую сторону копать?

 

[GrDEV 44]

Нарезайте вланы на Л3 свиче и проблем не будет.

[desmond 22]

LAN_IF="vlan*"

[Impulsee 0]

L3 на данном этапе нет. 
Создал правила вручную под каждый Vlan в Firewall.conf

[Impulsee 0]

  В 06.05.2019 в 12:48, Impulsee сказав:

L3 на данном этапе нет. 
Создал правила вручную под каждый Vlan в Firewall.conf

Expand  

 

Фигня вышла. 

Неизвестные не идут в VLAN, Белый IP привязан к em1, соответственно - не работает по влан через DHCP

Буду строить мост на Фряхе...

 

Задумки следующие:

rc.conf

  Відновити прихований контент

fsck_y_enable="YES"
sendmail_enable="NONE"
hostname="fastlan.net"
ifconfig_em0="inet 192.168.0.180 netmask 255.255.255.240"

#======= VLAN config ======
cloned_interfaces="bridge0"
ifconfig_bridge0="addm em1 addm vlan15 addm vlan1000 addm vlan1200 addm vlan1444"
ifconfig_em1="inet 172.16.0.1 netmask 255.255.240.0"
ifconfig_em1_alias0="inet 172.32.0.1 netmask 255.255.255.0"
ifconfig_em1_alias1="inet 192.168.0.185 netmask 255.255.255.248"
ifconfig_em1_alias2="inet 172.16.16.1 netmask 255.255.255.0"

ifconfig_em1_alias3="inet 10.90.90.200 netmask 255.255.255.0"

ifconfig_vlan15="up"

ifconfig_vlan1000="up"
ifconfig_vlan1200="up"
ifconfig_vlan1444="up"

defaultrouter="192.168.0.177"
sshd_enable="YES"
ntpd_enable="YES"
inetd_enable="YES"
# ====== FTP Access =======
ftpd_enable="YES"
ftpd_flags="-D -l"

#powerd_enable="YES"
# Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable
dumpdev="AUTO"
# ====== added by UBinstaller ====

gateway_enable="YES"
#all needed services
mysql_enable="YES"
apache24_enable="YES"
dhcpd_enable="YES"
dhcpd_flags="-q"
dhcpd_conf="/usr/local/etc/multinet/dhcpd.conf"
dhcpd_ifaces="bridge0"

ubilling_enable="YES"
ubilling_flags="bridge0"

#netflow sensor
softflowd_enable="YES"
softflowd_interfaces="bridge0"
softflowd_bridge0_collector="127.0.0.1:42111"

#optional services
memcached_enable="NO"
memcached_flags="-l 127.0.0.1 -m 64"
radiusd_enable="NO"

# ==========
#access/shape/nat
firewall_enable="YES"
firewall_nat_enable="YES"
dummynet_enable="YES"
firewall_script="/etc/firewall.conf"

# ==========
arpwatch_enable="YES"
arpwatch_flags="-n 172.16.0.0/20"
arpwatch_interfaces="bridge0"

# ========= ZABBIX ================
zabbix_agentd_enable="YES"

firewall.conf:

  Відновити прихований контент

#!/bin/sh

# firewall command
FwCMD="/sbin/ipfw -q"
${FwCMD} -f flush

# Interfaces setup
LAN_IF="bridge0"
WAN_IF="em0"

# Networks define
${FwCMD} table 2 add 172.16.0.0/20
# White IP LIST
${FwCMD} table 10 add 192.168.0.184/29
# Routers IP LIST
${FwCMD} table 9 add 172.16.16.0/24
${FwCMD} table 9 add 10.90.90.0/24

#NAT
${FwCMD} nat 1 config log if ${WAN_IF} reset same_ports
${FwCMD} add 6000 nat 1 ip from table\(2\) to not table\(9\) out xmit ${WAN_IF}
${FwCMD} add 6001 nat 1 ip from any to me in recv ${WAN_IF}

#Shaper - table 4 download speed, table 3 - upload speed
${FwCMD} add 12001 pipe tablearg ip from any to table\(4\) via ${LAN_IF} out
${FwCMD} add 12000 pipe tablearg ip from table\(3\) to any via ${LAN_IF} in

#unknown users redirect
${FwCMD} add 5 fwd 127.0.0.1,80 ip from 172.32.0.0/24 to not me dst-port 80

#Debtors forwarding
${FwCMD} add 4 allow ip from table\(2\) to 217.27.144.3 dst-port 53 via ${LAN_IF}
${FwCMD} add 4 allow ip from 217.27.144.3 to table\(2\) src-port 53 via ${LAN_IF}
${FwCMD} add 4 allow ip from table\(2\) to me dst-port 80 via ${LAN_IF}
${FwCMD} add 4 allow ip from me to table\(2\) src-port 80 via ${LAN_IF}

${FwCMD} add 6 fwd 127.0.0.1,80 ip from table\(47\) to not me dst-port 80
${FwCMD} delete 65534

# default block policy
${FwCMD} add 65533 deny all from table\(2\) to any via ${LAN_IF}
${FwCMD} add 65534 deny all from any to table\(2\) via ${LAN_IF}
${FwCMD} add 65535 allow all from any to any

dhcpd.template:

  Відновити прихований контент

option domain-name "FastLan";
option domain-name-servers 192.168.0.1;
default-lease-time 3600; 
max-lease-time 43200; 
authoritative;
ddns-update-style none;
log-facility local7;
one-lease-per-client true;
deny duplicates;

shared-network FastLan {
{SUBNETS}
###### Unknown USERS
subnet 172.32.0.0 netmask 255.255.255.0 {
option subnet-mask 255.255.255.0;
option routers 172.32.0.1;
range 172.32.0.2 172.32.0.254;
}
}

Сети и услуги в Биллинге создать:

  Відновити прихований контент

Начальная ІР Последняя ІР Сеть/CIDR Тип сети Действия

192.168.0.186 192.168.0.190 192.168.0.184/29 dhcpstatic

172.16.0.0 172.16.15.255 172.16.0.0/20 dhcpstatic

 

Подскажите, че я упустил? 

[a_n_h 595]

  В 17.05.2019 в 16:49, Impulsee сказав:

ifconfig_bridge0="addm em1 addm vlan15 addm vlan1000 addm vlan1200 addm vlan1444"
ifconfig_em1="inet 172.16.0.1 netmask 255.255.240.0"
ifconfig_em1_alias0="inet 172.32.0.1 netmask 255.255.255.0"
ifconfig_em1_alias1="inet 192.168.0.185 netmask 255.255.255.248"
ifconfig_em1_alias2="inet 172.16.16.1 netmask 255.255.255.0"

ifconfig_em1_alias3="inet 10.90.90.200 netmask 255.255.255.0"

Expand  

поправте, если я ошибаюсь, но вроде айпи и алиасы нужно назначать мосту.

[revomix 28]

на сколько я знаю то вланы строяться так

 

ifconfig_bridge0="addm em1 addm vlan15 addm vlan1000 addm vlan1200 addm vlan1444"
ifconfig_em1="inet 172.16.0.1 netmask 255.255.240.0"
ifconfig_vlan15="inet 172.32.0.1 netmask 255.255.255.0 vlan 15 vlandev em1"
ifconfig_vlan1000="inet 192.168.0.185 netmask 255.255.255.248 vlan 1000 vlandev em1"
ifconfig_vlan1200="inet 172.16.16.1 netmask 255.255.255.0 vlan 1200 vlandev em1"

ifconfig_vlan1444="inet 10.90.90.200 netmask 255.255.255.0 vlan 1444 vlandev em1"

[Impulsee 0]

  В 17.05.2019 в 18:28, revomix сказав:

на сколько я знаю то вланы строяться так

 

ifconfig_bridge0="addm em1 addm vlan15 addm vlan1000 addm vlan1200 addm vlan1444".....

Expand  

Они так и построены сейчас, но не могу раздать белые IP в каждый влан по 1/2 адреса нужно. И не срабатывает раздача неизвестным IP из подсети 172.32.0.0/24. Работает только для физического em1. Посему нужен bridge0.

[revomix 28]

так а где у вас в конфиге белые ip?

[Impulsee 0]

  В 20.05.2019 в 14:30, revomix сказав:

так а где у вас в конфиге белые ip?

Expand  

ifconfig_em1_alias1="inet 192.168.0.185 netmask 255.255.255.248"
тута

Если я правильно понял, нужно делать:

  Відновити прихований контент

cloned_interfaces="bridge0"
ifconfig_bridge0="addm em1 addm vlan15 addm vlan1000 addm vlan1200 addm vlan1444"
ifconfig_bridge0="inet 172.16.0.1 netmask 255.255.240.0"
ifconfig_bridge0_alias0="inet 172.32.0.1 netmask 255.255.255.0"
ifconfig_bridge0_alias1="inet 192.168.0.185 netmask 255.255.255.248"
ifconfig_bridge0_alias2="inet 172.16.16.1 netmask 255.255.255.0"

ifconfig_bridge0_alias3="inet 10.90.90.200 netmask 255.255.255.0"

ifconfig_vlan15="up"

ifconfig_vlan1000="up"
ifconfig_vlan1200="up"
ifconfig_vlan1444="up"

Но где тогда привязка vlan1200 = ip 172.16.16.0/24 и т.д.

 

[a_n_h 595]

  В 20.05.2019 в 15:07, Impulsee сказав:

Если я правильно понял, нужно делать:

Expand  

я это и имел ввиду.

[revomix 28]

  В 20.05.2019 в 15:07, Impulsee сказав:

 Но где тогда привязка vlan1200 = ip 172.16.16.0/24 и т.д.

  

Expand  

 

так вы привязали ip 172.16.16.0/24 и т.д к алиасу бриджа, а не к влану