This commit is contained in:
parent
c593d5c1bd
commit
14df819a9e
@ -146,6 +146,42 @@ Bash сначала выполнит команду `date` (внутри кав
|
|||||||
|
|
||||||
`export` делает переменную окружения доступной для текущей оболочки и всех дочерних процессов. В данном случае она применяется к переменной `PATH`.
|
`export` делает переменную окружения доступной для текущей оболочки и всех дочерних процессов. В данном случае она применяется к переменной `PATH`.
|
||||||
|
|
||||||
|
#### $, (), {}
|
||||||
|
|
||||||
|
Символ $ используется для получения значения переменной. Когда пишешь $VAR, Bash подставляет значение переменной VAR.
|
||||||
|
```bash
|
||||||
|
name="Alice"
|
||||||
|
echo $name
|
||||||
|
```
|
||||||
|
Команды в круглых скобках `()` выполняются в подоболочке (subshell). Это означает, что изменения в окружении (например, переменные) внутри скобок не повлияют на основную оболочку.
|
||||||
|
|
||||||
|
Круглые скобки с $ `$()` используются для выполнения команды и подстановки её вывода.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
current_date=$(date)
|
||||||
|
echo "Today is $current_date"
|
||||||
|
```
|
||||||
|
|
||||||
|
Фигурные скобки `{}` в Bash не меняют интерпретацию переменной, а только ограничивают её границы
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# НЕВЕРНО, ! интерпретируется как часть имени переменной
|
||||||
|
name="Alice"
|
||||||
|
echo "Hello, $name!"
|
||||||
|
```
|
||||||
|
```bash
|
||||||
|
# ВЕРНО
|
||||||
|
name="Alice"
|
||||||
|
echo "Hello, ${name}!"
|
||||||
|
```
|
||||||
|
|
||||||
|
- `${VAR:-default}:` Когда нужно временно использовать значение по умолчанию, но не изменять переменную.
|
||||||
|
|
||||||
|
- `${VAR:=default}:` Когда нужно установить значение по умолчанию и сохранить его в переменной.
|
||||||
|
|
||||||
|
- `${VAR:?error}:` Когда нужно убедиться, что переменная определена, и завершить выполнение, если это не так.
|
||||||
|
|
||||||
|
- `${VAR:+value}:` Когда нужно выполнить действие только если переменная определена и не пуста.
|
||||||
|
|
||||||
### Systemd
|
### Systemd
|
||||||
|
|
||||||
|
|||||||
@ -221,18 +221,6 @@
|
|||||||
- `tar -czvf logs_archive.tar.gz log1.log log2.log log3.log` - создать архив `.tar.gz`
|
- `tar -czvf logs_archive.tar.gz log1.log log2.log log3.log` - создать архив `.tar.gz`
|
||||||
- `tar -tzvf logs_archive.tar.gz` - просмотр содержимого архива
|
- `tar -tzvf logs_archive.tar.gz` - просмотр содержимого архива
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
- `zip <final_file_name> <file_1> <file_2> <file_N>` (`-r` - рекурсивное сжатие, `-v` - подробный вывод)
|
|
||||||
- `zip -u <final_file_name> <file_N+1>` - добавление файлов к существующему архиву
|
|
||||||
- `unzip -l <final_file_name>` - проверить содержимое zip-архива
|
|
||||||
- `gzip -c <file_name>` - сохранить оригинальный файл после сжатия
|
|
||||||
- `unzip <file_name> -d <dir_name>` - извлечь файлы в указанный каталог
|
|
||||||
- `unzip -l <file_name>` - посмотреть содержимое файла без распаковки
|
|
||||||
- `gunzip <file_name>` - не сохраняет исходный архив
|
|
||||||
- `gunzip -c <file_name>` - распаковывает сжатый .gz файл и выводит его содержимое в стандартный вывод (stdout), без удаления оригинального сжатого файла
|
|
||||||
|
|
||||||
|
|
||||||
#### Screen
|
#### Screen
|
||||||
|
|
||||||
- `screen -L -Logfile mylog.txt -S mysession` - запуск новой сессии скрин, лог будет писаться в каталог, из которого запустили `screen` (`-a` - писать лог уже в существующий в лог файл)
|
- `screen -L -Logfile mylog.txt -S mysession` - запуск новой сессии скрин, лог будет писаться в каталог, из которого запустили `screen` (`-a` - писать лог уже в существующий в лог файл)
|
||||||
@ -328,6 +316,17 @@
|
|||||||
|
|
||||||
С setuid: программа запускается с правами владельца файла (часто — root), независимо от того, кто её запустил.
|
С setuid: программа запускается с правами владельца файла (часто — root), независимо от того, кто её запустил.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
- `zip <final_file_name> <file_1> <file_2> <file_N>` (`-r` - рекурсивное сжатие, `-v` - подробный вывод)
|
||||||
|
- `zip -u <final_file_name> <file_N+1>` - добавление файлов к существующему архиву
|
||||||
|
- `unzip -l <final_file_name>` - проверить содержимое zip-архива
|
||||||
|
- `gzip -c <file_name>` - сохранить оригинальный файл после сжатия
|
||||||
|
- `unzip <file_name> -d <dir_name>` - извлечь файлы в указанный каталог
|
||||||
|
- `unzip -l <file_name>` - посмотреть содержимое файла без распаковки
|
||||||
|
- `gunzip <file_name>` - не сохраняет исходный архив
|
||||||
|
- `gunzip -c <file_name>` - распаковывает сжатый .gz файл и выводит его содержимое в стандартный вывод (stdout), без удаления оригинального сжатого файла
|
||||||
|
|
||||||
### Диски
|
### Диски
|
||||||
- `fdisk -l`
|
- `fdisk -l`
|
||||||
- Показывает список всех подключенных устройств (жестких дисков, SSD и т.д.).
|
- Показывает список всех подключенных устройств (жестких дисков, SSD и т.д.).
|
||||||
@ -394,6 +393,7 @@ mount [OPTIONS] <DEVICE> <MOUNTPOINT>
|
|||||||
|
|
||||||
- `cat <filename> | grep -P "May 2 08:5(3|4|5):"` - ну понятно
|
- `cat <filename> | grep -P "May 2 08:5(3|4|5):"` - ну понятно
|
||||||
- `grep --text -A 1000000 "2025-02-23 13:00:00" catalina.out > cut.log` - вывести `1000000` строк после `"2025-02-23 13:00:00"`
|
- `grep --text -A 1000000 "2025-02-23 13:00:00" catalina.out > cut.log` - вывести `1000000` строк после `"2025-02-23 13:00:00"`
|
||||||
|
- `sort file.txt | uniq -d` - вывести дублирующиеся строки в файле
|
||||||
|
|
||||||
### Логирование
|
### Логирование
|
||||||
|
|
||||||
|
|||||||
158
docs/nginx/Nginx.md
Normal file
158
docs/nginx/Nginx.md
Normal file
@ -0,0 +1,158 @@
|
|||||||
|
### root vs alias
|
||||||
|
|
||||||
|
#### root
|
||||||
|
|
||||||
|
Добавляет URL к указанному пути.
|
||||||
|
|
||||||
|
```
|
||||||
|
location /images/ {
|
||||||
|
alias /var/www/myapp/static/;
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
Если запрошен URL `/images/photo.jpg`, Nginx будет искать файл по пути `/var/www/myapp/static/images/photo.jpg`.
|
||||||
|
|
||||||
|
#### alias
|
||||||
|
|
||||||
|
Заменяет часть URL на указанный путь.
|
||||||
|
|
||||||
|
```
|
||||||
|
location /images/ {
|
||||||
|
alias /var/www/myapp/static/;
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
Если запрошен URL `/images/photo.jpg`, Nginx будет искать файл по пути `/var/www/myapp/static/photo.jpg`.
|
||||||
|
|
||||||
|
В `alias` корреткно не работают регулярки
|
||||||
|
|
||||||
|
!!! tip ""
|
||||||
|
Не забывай добавлять `/` в конце строки в директиве `location`
|
||||||
|
|
||||||
|
### Директивы
|
||||||
|
|
||||||
|
#### http
|
||||||
|
|
||||||
|
Блок `http` используется для настройки параметров, связанных с обработкой HTTP-запросов.
|
||||||
|
|
||||||
|
#### server
|
||||||
|
|
||||||
|
Блок `server` определяет виртуальный сервер (хост). Внутри этого блока настраиваются параметры для обработки запросов к определенному домену или IP-адресу.
|
||||||
|
|
||||||
|
- `listen`: Порт и IP-адрес, на котором сервер будет принимать запросы.
|
||||||
|
- `server_name`: Имя сервера (домен или поддомен). `server_name _`: Nginx использует этот блок server как сервер по умолчанию для запросов, которые не соответствуют другим блокам `server`.
|
||||||
|
- `location`: Блоки для обработки конкретных URL.
|
||||||
|
|
||||||
|
|
||||||
|
#### Разное
|
||||||
|
|
||||||
|
- `upstream`: Используется для настройки балансировки нагрузки между несколькими серверами
|
||||||
|
```
|
||||||
|
http {
|
||||||
|
upstream backend {
|
||||||
|
server 192.168.1.1;
|
||||||
|
server 192.168.1.2;
|
||||||
|
}
|
||||||
|
|
||||||
|
server {
|
||||||
|
listen 80;
|
||||||
|
server_name example.com;
|
||||||
|
|
||||||
|
location / {
|
||||||
|
proxy_pass http://backend;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
- `include`: Позволяет подключать дополнительные конфигурационные файлы
|
||||||
|
- `error_page`: Настройка страниц ошибок
|
||||||
|
- `access_log` и `error_log`: Настройка логов
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
Директива `worker_processes` определяет количество процессов (worker processes), которые Nginx будет использовать для обработки запросов. При значение `auto` Nginx автоматически определяет оптимальное количество worker-процессов на основе количества ядер CPU. Каждый worker-процесс может обрабатывать множество соединений (зависит от параметра `worker_connections`).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
Блок `location`
|
||||||
|
|
||||||
|
- `root`: Корневая директория для поиска файлов.
|
||||||
|
- `alias`: Замена части URL на другой путь.
|
||||||
|
- `proxy_pass`: Перенаправление запросов на другой хост.
|
||||||
|
- `try_files`: Попытка найти файл по указанному пути.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
`access_log` глобально задать нельзя. Можно переопределять на уровне `http`, `server` или `location`.
|
||||||
|
`error_log` можно задать глобально. Можно переопределять на уровне `http`, `server` или `location`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
`proxy_set_header` Позволяет изменять или добавлять HTTP-заголовки, которые Nginx передаёт проксируемому серверу. Добавляет заголовок, если его нет. Перезаписывает, если он уже есть.
|
||||||
|
|
||||||
|
`proxy_pass_header` Позволяет передавать заголовки от backend клиенту
|
||||||
|
|
||||||
|
```
|
||||||
|
# Передаёт backend-серверу доменное имя хоста из запроса клиента
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
# Передаёт backend-серверу ip-адрес клиента
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
# Передаёт цепочку прокси-серверов, через которые прошёл запрос и добавляет в конец реальный ip-адрес клиента
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
# Передаёт backend-серверу протокол, который использовал клиент (например, http или https)
|
||||||
|
proxy_set_header X-Forwarded-Proto $scheme;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Проксирование
|
||||||
|
|
||||||
|
Когда Nginx получает запрос от клиента, он не изменяет заголовки по умолчанию. Однако, если Nginx выступает в роли прокси (используется proxy_pass), он может изменить или удалить некоторые заголовки.
|
||||||
|
|
||||||
|
При проксировании Nginx передаёт следующие заголовки:
|
||||||
|
|
||||||
|
- `Host` - По умолчанию Nginx передаёт заголовок Host из запроса клиента, но если используется proxy_pass, Nginx может заменить Host на IP-адрес backend-сервера, если не указано иное.
|
||||||
|
- `Connection` - Nginx автоматически добавляет или изменяет заголовок Connection для управления keepalive-соединениями (значение заголовка: `keep-alive`, `close`)
|
||||||
|
- `X-Real-IP`
|
||||||
|
- `X-Forwarded-For`
|
||||||
|
- `X-Forwarded-Proto`
|
||||||
|
|
||||||
|
Nginx автоматически добавляет заголовки `X-Forwarded-For`, `X-Real-IP` и `X-Forwarded-Proto`, если они не указаны явно.
|
||||||
|
|
||||||
|
Остальные заголовки не передаются, если не указаны явно с помощью `proxy_set_header`.
|
||||||
|
|
||||||
|
### Переменные в Nginx
|
||||||
|
|
||||||
|
- `$host` - доменное имя сервера и порт (если указан), содержит значение заголовка Host из запроса клиента
|
||||||
|
- `$content_type` - значение заголовка `Content-Type` из запроса клиента
|
||||||
|
- `$content_length` - значение заголовка `Content-Length` из запроса клиента
|
||||||
|
- `$remote_addr` - ip-адрес клиента, который сделал запрос
|
||||||
|
- `$scheme` - протокол запроса
|
||||||
|
- `$request_method` - http метод запроса
|
||||||
|
- `$request_uri` - полный URL запроса
|
||||||
|
- `$uri` - URL без параметров
|
||||||
|
- `$args` - параметры запроса, часть после `?`
|
||||||
|
- `$cookie_*` - переменные для доступа к кукам, из запроса клиента.
|
||||||
|
- `$http_*` - переменные для доступа к любым HTTP-заголовкам, из запроса клиента.
|
||||||
|
- `$http_user_agent` — заголовок User-Agent.
|
||||||
|
- `$http_referer` — заголовок Referer.
|
||||||
|
- `$server_name` - значение, указанное в директиве server_name в конфигурации Nginx
|
||||||
|
- `$server_port` - порт на который пришел запрос
|
||||||
|
- `$status` - http статус ответа
|
||||||
|
- `$upstream_*` - содержат информацию о взаимодействии Nginx с backend-серверами (upstream)
|
||||||
|
- `$upstream_addr` - IP-адрес и порт backend-сервера, который обработал запрос
|
||||||
|
- `$upstream_status` - HTTP-статус ответа от backend-сервера
|
||||||
|
- `$upstream_response_time` - Время, которое backend-сервер потратил на обработку запроса (в секундах)
|
||||||
|
- `$upstream_header_*` - Заголовки, полученные от backend-сервера.
|
||||||
|
|
||||||
|
### Уровни логирования
|
||||||
|
|
||||||
|
1. `debug`: Отладочные сообщения (самый подробный уровень).
|
||||||
|
2. `info`: Информационные сообщения.
|
||||||
|
3. `notice`: Важные, но не критические события.
|
||||||
|
4. `warn`: Предупреждения.
|
||||||
|
5. `error`: Ошибки (например, проблемы с конфигурацией).
|
||||||
|
6. `crit`: Критические ошибки.
|
||||||
|
7. `alert`: Ещё более критические ошибки.
|
||||||
|
8. `emerg`: Аварийные ситуации (Nginx не работает).
|
||||||
|
|
||||||
|
|
||||||
@ -179,6 +179,16 @@ WHERE
|
|||||||
relname = 'название таблицы';
|
relname = 'название таблицы';
|
||||||
```
|
```
|
||||||
```sql
|
```sql
|
||||||
|
-- имя индексов в таблице и скрипт которым создан индекс
|
||||||
|
SELECT
|
||||||
|
indexname,
|
||||||
|
indexdef
|
||||||
|
FROM
|
||||||
|
pg_indexes
|
||||||
|
WHERE
|
||||||
|
tablename = 'table_name';
|
||||||
|
```
|
||||||
|
```sql
|
||||||
-- блокировки в БД
|
-- блокировки в БД
|
||||||
SELECT
|
SELECT
|
||||||
blocked_locks.pid AS blocked_pid,
|
blocked_locks.pid AS blocked_pid,
|
||||||
@ -239,10 +249,180 @@ FROM pg_stat_database;
|
|||||||
|
|
||||||
### Бэкапирование
|
### Бэкапирование
|
||||||
|
|
||||||
- `pg_dump -U <user_name> -t <table_name> -h <host_ip> -d <database_name> | gzip > <dir>/<table_name>.sql.gz` - снятие дампа с таблицы
|
По умолчанию pg_dump создает логический бэкап в формате plain (обычный SQL-скрипт)
|
||||||
- `gunzip /tmp/<dump_name>.sql.gz | psql -h <host_ip> -U <user_name> -d <database_name> -t <table_name> >> <log_name>.log` - восстановление таблицы
|
|
||||||
|
|
||||||
\# TODO дополнить раздел
|
В PostgreSQL есть два типа дампов:
|
||||||
|
|
||||||
|
- `Физические (pg_basebackup)` — побайтовая копия файлов БД.
|
||||||
|
- `Логические (pg_dump, pg_dumpall)` — SQL-скрипты или архивные файлы.
|
||||||
|
|
||||||
|
!!! info ""
|
||||||
|
`pg_dumpall` создает резервную копию всех баз данных, роли (пользователи и группы), права доступа (GRANT/REVOKE), настройки tablespace, глобальные параметры (например, настройки аутентификации). Умеет отдавать только дамп в формате .sql
|
||||||
|
|
||||||
|
`pg_dump` не экспортирует роли, права доступа, tablespaces, параметры кластера (например, `pg_hba.conf`)
|
||||||
|
|
||||||
|
1. plain (Текстовый SQL-скрипт)
|
||||||
|
|
||||||
|
Описание:
|
||||||
|
|
||||||
|
В этом формате по дефолту снимает `pg_dump`. Формат plain представляет собой обычный SQL-скрипт, содержащий скрипты `CREATE TABLE`, `INSERT INTO`, `ALTER TABLE` и другие скрипты для создания и наполнения бд .
|
||||||
|
|
||||||
|
Дамп в формате `plain`:
|
||||||
|
```bash
|
||||||
|
pg_dump -U postgres -d mydatabase -Fp -f backup.sql
|
||||||
|
```
|
||||||
|
Пример содержимого файла дампа:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE users (
|
||||||
|
id SERIAL PRIMARY KEY,
|
||||||
|
name TEXT
|
||||||
|
);
|
||||||
|
INSERT INTO users (id, name) VALUES (1, 'Alice');
|
||||||
|
```
|
||||||
|
|
||||||
|
- Можно редактировать в текстовом редакторе.
|
||||||
|
|
||||||
|
- Можно восстановить частично, скопировав нужные команды.
|
||||||
|
|
||||||
|
- Относительно долгое восстановление, так как все данные вставляются скриптами.
|
||||||
|
|
||||||
|
Как восстановить:
|
||||||
|
```bash
|
||||||
|
psql -U postgres -d mydatabase -f backup.sql
|
||||||
|
```
|
||||||
|
|
||||||
|
2. custom (Сжатый бинарный формат)
|
||||||
|
|
||||||
|
Описание:
|
||||||
|
|
||||||
|
Формат custom является бинарным, поддерживает сжатие и позволяет восстанавливать отдельные объекты базы данных, такие как таблицы и схемы.
|
||||||
|
|
||||||
|
Как создать дамп в формате `custom`:
|
||||||
|
```bash
|
||||||
|
pg_dump -U postgres -d mydatabase -Fc -Z 9 -f backup.dump
|
||||||
|
```
|
||||||
|
Параметры:
|
||||||
|
|
||||||
|
- `Fc` - указывает на использование формата custom.
|
||||||
|
- `Z 9` - применяет максимальное сжатие дампа.
|
||||||
|
- `-a` или `--data-only`: Дамп только данных, без схемы
|
||||||
|
- `-s` или `--schema-only`: Дамп только схемы, без данных
|
||||||
|
- `-O` или `--no-owner`: Исключает команды SET OWNER из дампа
|
||||||
|
- `-x` или `--no-privileges`: Исключает команды GRANT/REVOKE из дампа.
|
||||||
|
|
||||||
|
- Поддерживает выборочное снятие отдельных объектов.
|
||||||
|
- Поддерживает параллельное снятие с `-j`.
|
||||||
|
|
||||||
|
Посмотреть содержимое дампа без восстановления:
|
||||||
|
```bash
|
||||||
|
pg_restore -l backup.dump
|
||||||
|
```
|
||||||
|
|
||||||
|
Как восстановить базу данных:
|
||||||
|
```bash
|
||||||
|
pg_restore -U postgres -d mydatabase -f backup.dump
|
||||||
|
```
|
||||||
|
|
||||||
|
3. directory (Каталог с дампом)
|
||||||
|
|
||||||
|
Описание:
|
||||||
|
|
||||||
|
Формат `directory` сохраняет резервную копию в виде каталога, содержащего отдельные файлы для каждой таблицы и других объектов базы данных. Этот формат позволяет параллельно снимать бэкап.
|
||||||
|
|
||||||
|
Дамп в формате `directory`:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pg_dump -U postgres -d mydatabase -Fd -j4 -f backup_dir/
|
||||||
|
```
|
||||||
|
|
||||||
|
Параметры:
|
||||||
|
|
||||||
|
- `Fd` — указывает на формат directory.
|
||||||
|
- `j4` — использует 4 параллельных потока для ускорения процесса.
|
||||||
|
|
||||||
|
- Можно восстанавливать отдельные таблицы и объекты.
|
||||||
|
|
||||||
|
Восстановление
|
||||||
|
```bash
|
||||||
|
pg_restore -U postgres -d mydatabase -j 4 backup_dir/
|
||||||
|
```
|
||||||
|
|
||||||
|
4. tar (Архив tar)
|
||||||
|
Описание:
|
||||||
|
|
||||||
|
Формат tar создает архив tar, содержащий все необходимые файлы для восстановления базы данных. Он удобен для хранения и передачи, но восстановление в данном формате выполняется медленнее по сравнению с `directory` или `custom`.
|
||||||
|
|
||||||
|
Дамп в формате `tar`:
|
||||||
|
```bash
|
||||||
|
pg_dump -U postgres -d mydatabase -F t -f backup.tar
|
||||||
|
```
|
||||||
|
Параметры:
|
||||||
|
|
||||||
|
- Ft — указывает на формат tar.
|
||||||
|
- Медленное восстановление, так как данные сначала извлекаются из архива.
|
||||||
|
|
||||||
|
Восстановление бд:
|
||||||
|
```bash
|
||||||
|
pg_restore -U postgres -d mydatabase -Ft backup.tar
|
||||||
|
```
|
||||||
|
|
||||||
|
!!! info ""
|
||||||
|
Все форматы дампов кроме `.sql` восстанавливаются через `pg_restore`
|
||||||
|
|
||||||
|
|
||||||
|
#### Пример организации бэкапирования
|
||||||
|
|
||||||
|
Скрипт `backup.sh` для снятия бэкапа, удаления бэкапов
|
||||||
|
```bash
|
||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
if [ "$#" -ne 3 ]; then
|
||||||
|
echo "Необходимо передать три аргумента."
|
||||||
|
echo "Пример: $0 <имя_стенда> <имя_базы_данных> <время_жизни_бэкапа_в_днях>"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
PG_PASSWORD="postgres"
|
||||||
|
PG_PORT="5432"
|
||||||
|
STAND_NAME="$1"
|
||||||
|
DB_NAME="$2"
|
||||||
|
BACKUP_TTL="$3"
|
||||||
|
BACKUP_DIR="/opt/backups/${STAND_NAME}"
|
||||||
|
BACKUP_FILE="${STAND_NAME}_$(date +%Y%m%d).dump"
|
||||||
|
LOG_DIR="${BACKUP_DIR}/logs"
|
||||||
|
LOG_FILE="${LOG_DIR}/backup_${STAND_NAME}.log"
|
||||||
|
|
||||||
|
mkdir -p "${BACKUP_DIR}"
|
||||||
|
mkdir -p "${LOG_DIR}"
|
||||||
|
|
||||||
|
echo "$(date +%Y%m%d_%H%M%S) Начало резервного копирования базы данных ${DB_NAME}" >> ${LOG_FILE}
|
||||||
|
|
||||||
|
PGPASSWORD=${PG_PASSWORD} pg_dump -p ${PG_PORT} -h localhost -U postgres -d ${DB_NAME} -Fc -Z 9 -f "${BACKUP_DIR}/${BACKUP_FILE}" 2>> ${LOG_FILE}
|
||||||
|
|
||||||
|
if [ $? -eq 0 ]; then
|
||||||
|
echo "$(date +%Y%m%d_%H%M%S) Резервное копирование успешно завершено: ${BACKUP_DIR}/${BACKUP_FILE}" >> ${LOG_FILE}
|
||||||
|
|
||||||
|
find ${BACKUP_DIR} -type f -name "*.dump" -mtime +${BACKUP_TTL} -exec rm {} \;
|
||||||
|
|
||||||
|
if [ $? -eq 0 ]; then
|
||||||
|
echo "$(date +%Y%m%d_%H%M%S) Бэкапы старше ${BACKUP_TTL} дней удалены." >> ${LOG_FILE}
|
||||||
|
else
|
||||||
|
echo "$(date +%Y%m%d_%H%M%S) Ошибка при удалении бэкапов." >> ${LOG_FILE}
|
||||||
|
fi
|
||||||
|
|
||||||
|
else
|
||||||
|
echo "$(date +%Y%m%d_%H%M%S) Ошибка при резервном копировании базы данных ${DB_NAME}" >> ${LOG_FILE}
|
||||||
|
fi
|
||||||
|
```
|
||||||
|
|
||||||
|
Добавить в `cron`
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Для снятия бэкапа: <путь к скрипту> <имя каталога для бэкапа> <имя базы данных стенда> <кол-во хранимых бэкапов>
|
||||||
|
00 23 * * * /opt/backups/backup.sh stand1 database1 3
|
||||||
|
59 23 * * * /opt/backups/backup.sh stand2 database2 3
|
||||||
|
```
|
||||||
|
|
||||||
### Разное
|
### Разное
|
||||||
|
|
||||||
|
|||||||
@ -102,180 +102,3 @@ select * from pg_stat_replication;
|
|||||||
```sql
|
```sql
|
||||||
select * from pg_stat_wal_receiver;
|
select * from pg_stat_wal_receiver;
|
||||||
```
|
```
|
||||||
|
|
||||||
## Бэкапирование
|
|
||||||
|
|
||||||
По умолчанию pg_dump создает логический бэкап в формате plain (обычный SQL-скрипт)
|
|
||||||
|
|
||||||
В PostgreSQL есть два типа дампов:
|
|
||||||
|
|
||||||
- `Физические (pg_basebackup)` — побайтовая копия файлов БД.
|
|
||||||
- `Логические (pg_dump, pg_dumpall)` — SQL-скрипты или архивные файлы.
|
|
||||||
|
|
||||||
!!! info ""
|
|
||||||
`pg_dumpall` создает резервную копию всех баз данных, роли (пользователи и группы), права доступа (GRANT/REVOKE), настройки tablespace, глобальные параметры (например, настройки аутентификации). Умеет отдавать только дамп в формате .sql
|
|
||||||
|
|
||||||
`pg_dump` не экспортирует роли, права доступа, tablespaces, параметры кластера (например, `pg_hba.conf`)
|
|
||||||
|
|
||||||
1. plain (Текстовый SQL-скрипт)
|
|
||||||
|
|
||||||
Описание:
|
|
||||||
|
|
||||||
В этом формате по дефолту снимает `pg_dump`. Формат plain представляет собой обычный SQL-скрипт, содержащий скрипты `CREATE TABLE`, `INSERT INTO`, `ALTER TABLE` и другие скрипты для создания и наполнения бд .
|
|
||||||
|
|
||||||
Дамп в формате `plain`:
|
|
||||||
```bash
|
|
||||||
pg_dump -U postgres -d mydatabase -Fp -f backup.sql
|
|
||||||
```
|
|
||||||
Пример содержимого файла дампа:
|
|
||||||
|
|
||||||
```sql
|
|
||||||
CREATE TABLE users (
|
|
||||||
id SERIAL PRIMARY KEY,
|
|
||||||
name TEXT
|
|
||||||
);
|
|
||||||
INSERT INTO users (id, name) VALUES (1, 'Alice');
|
|
||||||
```
|
|
||||||
|
|
||||||
- Можно редактировать в текстовом редакторе.
|
|
||||||
|
|
||||||
- Можно восстановить частично, скопировав нужные команды.
|
|
||||||
|
|
||||||
- Относительно долгое восстановление, так как все данные вставляются скриптами.
|
|
||||||
|
|
||||||
Как восстановить:
|
|
||||||
```bash
|
|
||||||
psql -U postgres -d mydatabase -f backup.sql
|
|
||||||
```
|
|
||||||
|
|
||||||
2. custom (Сжатый бинарный формат)
|
|
||||||
|
|
||||||
Описание:
|
|
||||||
|
|
||||||
Формат custom является бинарным, поддерживает сжатие и позволяет восстанавливать отдельные объекты базы данных, такие как таблицы и схемы.
|
|
||||||
|
|
||||||
Как создать дамп в формате `custom`:
|
|
||||||
```bash
|
|
||||||
pg_dump -U postgres -d mydatabase -Fc -Z 9 -f backup.dump
|
|
||||||
```
|
|
||||||
Параметры:
|
|
||||||
|
|
||||||
- `Fc` - указывает на использование формата custom.
|
|
||||||
- `Z 9` - применяет максимальное сжатие дампа.
|
|
||||||
- `-a` или `--data-only`: Дамп только данных, без схемы
|
|
||||||
- `-s` или `--schema-only`: Дамп только схемы, без данных
|
|
||||||
- `-O` или `--no-owner`: Исключает команды SET OWNER из дампа
|
|
||||||
- `-x` или `--no-privileges`: Исключает команды GRANT/REVOKE из дампа.
|
|
||||||
|
|
||||||
- Поддерживает выборочное снятие отдельных объектов.
|
|
||||||
- Поддерживает параллельное снятие с `-j`.
|
|
||||||
|
|
||||||
Посмотреть содержимое дампа без восстановления:
|
|
||||||
```bash
|
|
||||||
pg_restore -l backup.dump
|
|
||||||
```
|
|
||||||
|
|
||||||
Как восстановить базу данных:
|
|
||||||
```bash
|
|
||||||
pg_restore -U postgres -d mydatabase -f backup.dump
|
|
||||||
```
|
|
||||||
|
|
||||||
3. directory (Каталог с дампом)
|
|
||||||
|
|
||||||
Описание:
|
|
||||||
|
|
||||||
Формат `directory` сохраняет резервную копию в виде каталога, содержащего отдельные файлы для каждой таблицы и других объектов базы данных. Этот формат позволяет параллельно снимать бэкап.
|
|
||||||
|
|
||||||
Дамп в формате `directory`:
|
|
||||||
|
|
||||||
```bash
|
|
||||||
pg_dump -U postgres -d mydatabase -Fd -j4 -f backup_dir/
|
|
||||||
```
|
|
||||||
|
|
||||||
Параметры:
|
|
||||||
|
|
||||||
- `Fd` — указывает на формат directory.
|
|
||||||
- `j4` — использует 4 параллельных потока для ускорения процесса.
|
|
||||||
|
|
||||||
- Можно восстанавливать отдельные таблицы и объекты.
|
|
||||||
|
|
||||||
Восстановление
|
|
||||||
```bash
|
|
||||||
pg_restore -U postgres -d mydatabase -j 4 backup_dir/
|
|
||||||
```
|
|
||||||
|
|
||||||
4. tar (Архив tar)
|
|
||||||
Описание:
|
|
||||||
|
|
||||||
Формат tar создает архив tar, содержащий все необходимые файлы для восстановления базы данных. Он удобен для хранения и передачи, но восстановление в данном формате выполняется медленнее по сравнению с `directory` или `custom`.
|
|
||||||
|
|
||||||
Дамп в формате `tar`:
|
|
||||||
```bash
|
|
||||||
pg_dump -U postgres -d mydatabase -F t -f backup.tar
|
|
||||||
```
|
|
||||||
Параметры:
|
|
||||||
|
|
||||||
- Ft — указывает на формат tar.
|
|
||||||
- Медленное восстановление, так как данные сначала извлекаются из архива.
|
|
||||||
|
|
||||||
Восстановление бд:
|
|
||||||
```bash
|
|
||||||
pg_restore -U postgres -d mydatabase -Ft backup.tar
|
|
||||||
```
|
|
||||||
|
|
||||||
!!! info ""
|
|
||||||
Все форматы дампов кроме `.sql` восстанавливаются через `pg_restore`
|
|
||||||
|
|
||||||
|
|
||||||
### Пример организации бэкапирования
|
|
||||||
|
|
||||||
Скрипт `backup.sh` для снятия бэкапа, удаления бэкапов
|
|
||||||
```bash
|
|
||||||
#!/bin/bash
|
|
||||||
|
|
||||||
if [ "$#" -ne 3 ]; then
|
|
||||||
echo "Необходимо передать три аргумента."
|
|
||||||
echo "Пример: $0 <имя_стенда> <имя_базы_данных> <время_жизни_бэкапа_в_днях>"
|
|
||||||
exit 1
|
|
||||||
fi
|
|
||||||
|
|
||||||
PG_PASSWORD="postgres"
|
|
||||||
PG_PORT="5432"
|
|
||||||
STAND_NAME="$1"
|
|
||||||
DB_NAME="$2"
|
|
||||||
BACKUP_TTL="$3"
|
|
||||||
BACKUP_DIR="/opt/backups/${STAND_NAME}"
|
|
||||||
BACKUP_FILE="${STAND_NAME}_$(date +%Y%m%d).dump"
|
|
||||||
LOG_DIR="${BACKUP_DIR}/logs"
|
|
||||||
LOG_FILE="${LOG_DIR}/backup_${STAND_NAME}.log"
|
|
||||||
|
|
||||||
mkdir -p "${BACKUP_DIR}"
|
|
||||||
mkdir -p "${LOG_DIR}"
|
|
||||||
|
|
||||||
echo "$(date +%Y%m%d_%H%M%S) Начало резервного копирования базы данных ${DB_NAME}" >> ${LOG_FILE}
|
|
||||||
|
|
||||||
PGPASSWORD=${PG_PASSWORD} pg_dump -p ${PG_PORT} -h localhost -U postgres -d ${DB_NAME} -Fc -Z 9 -f "${BACKUP_DIR}/${BACKUP_FILE}" 2>> ${LOG_FILE}
|
|
||||||
|
|
||||||
if [ $? -eq 0 ]; then
|
|
||||||
echo "$(date +%Y%m%d_%H%M%S) Резервное копирование успешно завершено: ${BACKUP_DIR}/${BACKUP_FILE}" >> ${LOG_FILE}
|
|
||||||
|
|
||||||
find ${BACKUP_DIR} -type f -name "*.dump" -mtime +${BACKUP_TTL} -exec rm {} \;
|
|
||||||
|
|
||||||
if [ $? -eq 0 ]; then
|
|
||||||
echo "$(date +%Y%m%d_%H%M%S) Бэкапы старше ${BACKUP_TTL} дней удалены." >> ${LOG_FILE}
|
|
||||||
else
|
|
||||||
echo "$(date +%Y%m%d_%H%M%S) Ошибка при удалении бэкапов." >> ${LOG_FILE}
|
|
||||||
fi
|
|
||||||
|
|
||||||
else
|
|
||||||
echo "$(date +%Y%m%d_%H%M%S) Ошибка при резервном копировании базы данных ${DB_NAME}" >> ${LOG_FILE}
|
|
||||||
fi
|
|
||||||
```
|
|
||||||
|
|
||||||
Добавить в `cron`
|
|
||||||
|
|
||||||
```bash
|
|
||||||
# Для снятия бэкапа: <путь к скрипту> <имя каталога для бэкапа> <имя базы данных стенда> <кол-во хранимых бэкапов>
|
|
||||||
00 23 * * * /opt/backups/backup.sh stand1 database1 3
|
|
||||||
59 23 * * * /opt/backups/backup.sh stand2 database2 3
|
|
||||||
```
|
|
||||||
Loading…
x
Reference in New Issue
Block a user