Backup MySQL на удаленный сервер

[lemosh 59]

Есть сервер с поднятым на нем биллингом. На расстоянии двух пачкордов от него стоит сетевой HDD.Задача: раз в сутки должна делаться копия всей MySQL базы, так же несколько каталогов с файлами билинга архивироваться и все это по FTP заливаться на сетевой HDD. При этом хотелось бы чтоб софтина автоматом проверяла на наличие старых архивов на ФТП серваке и автоматически удаляла все старше одной недели.Кто что посоветует?

[rootvm 1]

MySQL slave)

[Sargas 52]

Если база на отдельном разделе, то можно делать snapshot файловой системы, если нет, то mysqldump. Заливать бекап базы и файлы лучше не по FTP, а с помощью rsync. Архивировать gzip.

Удалять все что старше недели

/usr/bin/find /home/backup -name "*.gz" -mtime +7d -delete

[felixio_01 8]

сервер с MySQL на винде или на nix'ах ?

[morfey 82]

http://www.opennet.ru/dev/fsbackup/

[lemosh 59]

сервер с MySQL на винде или на nix'ах ?

ubuntu

 

все на одном разделе лежит....

[Serjio 19]

Percona XtraBackup + то что советовали выше (rsync + отслеживание даты создания).

[Fanat_non_root 88]

скрипт на любой удобном языке

[Prime 51]

для одного из тривиальных серверов я делал резервирование в 3 источника.

 

1.Local Storage

2.FTP

3.Amazon S3

 

Локальное хранилище хранит резервные копии за 31 день

FTP сервер хранит все резервные копии.

Amazon S3 хранит за 31 день истории.

 

Резервируются файлы и база данных биллинга.

директории файлов соответственно Include и exclude, чтобы избежать избыточности.

 

пример упростил, потому как у меня таблицы лочатся, на время выполнения дампа и конечно же не вся БД сливается.

репликация конечно классно, но в данном случае малоэффективна.

 

 

#!/bin/sh

FILENAME=billing_files
INCFILE="/etc/backup/include.lst"
EXCFILE="/etc/backup/exclude.lst"
NOW=`date "+%Y-%m-%d"`
TMPNAME=/root/backup/billing/$FILENAME-$NOW.tar.bz2
tar -jc -T $INCFILE -X $EXCFILE --absolute-names -f $TMPNAME

#create sql dump
/usr/bin/mysqldump -uusernname -ppassword namedb | /usr/bin/bzip2 > /root/backup/billing/db_billing_$NOW.bz2

#rotate files
cd /root/backup/billing;
find . -name \*.tar.bz2 -mtime +31 -delete
find . -name \*.bz2 -mtime +31 -delete

#upload to FTP server
/usr/bin/lftp -u billing_backup,billing_backuppassword 1.2.3.4 -e "mput $FILENAME-$NOW.tar.bz2;quit"
/usr/bin/lftp -u billing_backup,billing_backuppassword 1.2.3.4 -e "mput db_billing_$NOW.bz2;quit"

#Amazon
/usr/local/bin//s3cmd-1.0.1/s3cmd --acl-private --bucket-location=EU --guess-mime-type --delete-removed sync /root/backup/billing s3://billing/

[NiTr0 583]

репликация конечно классно, но в данном случае малоэффективна.

Репликация мастер-слейв хороша как раз для бекапа, можно смело лочить всю базу на слейве и не бояться, что что-то не успеет записаться.

[Prime 51]

репликация конечно классно, но в данном случае малоэффективна.

Репликация мастер-слейв хороша как раз для бекапа, можно смело лочить всю базу на слейве и не бояться, что что-то не успеет записаться.

ну в данном случае есть только NAS

[lemosh 59]

для одного из тривиальных серверов я делал резервирование в 3 источника.

 

1.Local Storage

2.FTP

3.Amazon S3

 

Локальное хранилище хранит резервные копии за 31 день

FTP сервер хранит все резервные копии.

Amazon S3 хранит за 31 день истории.

 

Резервируются файлы и база данных биллинга.

директории файлов соответственно Include и exclude, чтобы избежать избыточности.

 

пример упростил, потому как у меня таблицы лочатся, на время выполнения дампа и конечно же не вся БД сливается.

репликация конечно классно, но в данном случае малоэффективна.

 

 

#!/bin/sh

FILENAME=billing_files
INCFILE="/etc/backup/include.lst"
EXCFILE="/etc/backup/exclude.lst"
NOW=`date "+%Y-%m-%d"`
TMPNAME=/root/backup/billing/$FILENAME-$NOW.tar.bz2
tar -jc -T $INCFILE -X $EXCFILE --absolute-names -f $TMPNAME

#create sql dump
/usr/bin/mysqldump -uusernname -ppassword namedb | /usr/bin/bzip2 > /root/backup/billing/db_billing_$NOW.bz2

#rotate files
cd /root/backup/billing;
find . -name \*.tar.bz2 -mtime +31 -delete
find . -name \*.bz2 -mtime +31 -delete

#upload to FTP server
/usr/bin/lftp -u billing_backup,billing_backuppassword 1.2.3.4 -e "mput $FILENAME-$NOW.tar.bz2;quit"
/usr/bin/lftp -u billing_backup,billing_backuppassword 1.2.3.4 -e "mput db_billing_$NOW.bz2;quit"

#Amazon
/usr/local/bin//s3cmd-1.0.1/s3cmd --acl-private --bucket-location=EU --guess-mime-type --delete-removed sync /root/backup/billing s3://billing/

а можно увидеть листинг файлов /etc/backup/exclude.lst и etc/backup/include.lst

Спасибо!

[Prime 51]

include.lst:

/usr/local/billing

/var/www/html/billing

 

exclude.lst

/usr/local/billing/sql-cache/

[lemosh 59]

include.lst:

/usr/local/billing

/var/www/html/billing

 

exclude.lst

/usr/local/billing/sql-cache/

огромное спасибо!

 

а команда такого плана будет работать? т.е. задача удалять старые архивы с ФТП автоматом...

 

/usr/bin/lftp -u billing_backup,billing_backuppassword 1.2.3.4 -e "mput $FILENAME-$NOW.tar.bz2;find . -name \*.tar.bz2 -mtime +31 -delete;quit"

[Prime 51]

а команда такого плана будет работать? т.е. задача удалять старые архивы с ФТП автоматом...

нет, lftp просто сливает данные.

в частности команда mput

 

для задачи с удалением данных, лучше подойдет какой-то синхронизатор.

делать ftp велосипед не нужно, он должен получать массив данных с сервера, сравнивать с существующим, или же сравнивать даты создания файлов.

rsync например

[lemosh 59]

а команда такого плана будет работать? т.е. задача удалять старые архивы с ФТП автоматом...

нет, lftp просто сливает данные.

в частности команда mput

 

для задачи с удалением данных, лучше подойдет какой-то синхронизатор.

делать ftp велосипед не нужно, он должен получать массив данных с сервера, сравнивать с существующим, или же сравнивать даты создания файлов.

rsync например

ок! Понял!

подумаю на счет rsync

[rootvm 1]

А поподробней что за NAS большинство сейчас поддерживает базы данных или установку альтернативных прошивок.?

Если умеет NFS.

То NFS+http://sourceforge.net/projects/automysqlbackup/ и будет вам счастье без никакого гемора.

Но вариант со слейв базой ИМХО самый оптимальный по многим причинам.

[lemosh 59]

А поподробней что за NAS большинство сейчас поддерживает базы данных или установку альтернативных прошивок.?

Если умеет NFS.

То NFS+http://sourceforge.net/projects/automysqlbackup/ и будет вам счастье без никакого гемора.

Но вариант со слейв базой ИМХО самый оптимальный по многим причинам.

NAS Buffalo LinkStation Live - LS-CHL Внутри винт на 2 Тб

[rootvm 1]

Пишут что мукуль есть если со слейвом вариант не нравится то тогда по smb монтировать и лить. Но я бы совместил эти два варианта.

[lemosh 59]

Пишут что мукуль есть если со слейвом вариант не нравится то тогда по smb монтировать и лить. Но я бы совместил эти два варианта.

сделал скриптом, которым поделился Saanchezz. Мне кажется что если не дай Бог что-то случится (тьфу-тьфу-тьфу) этими архивами будет проще всего восстановить работоспособность биллинга

[rootvm 1]

Смотри вариант на насе резерв билинга когда основной упал он там се спокойно работает хоть и тормозит. Бэкапишь БД если нужно откатиться.

[lemosh 59]

Смотри вариант на насе резерв билинга когда основной упал он там се спокойно работает хоть и тормозит. Бэкапишь БД если нужно откатиться.

я писал какой у меня нас... На нем биллинг я не запущу... на сайте производителя красивое описание, но реально там все намного примитивней...