diff --git a/docs/linux/Заметки.md b/docs/linux/Заметки.md index e4e1a0a..101c82c 100644 --- a/docs/linux/Заметки.md +++ b/docs/linux/Заметки.md @@ -146,6 +146,42 @@ Bash сначала выполнит команду `date` (внутри кав `export` делает переменную окружения доступной для текущей оболочки и всех дочерних процессов. В данном случае она применяется к переменной `PATH`. +#### $, (), {} + +Символ $ используется для получения значения переменной. Когда пишешь $VAR, Bash подставляет значение переменной VAR. +```bash +name="Alice" +echo $name +``` +Команды в круглых скобках `()` выполняются в подоболочке (subshell). Это означает, что изменения в окружении (например, переменные) внутри скобок не повлияют на основную оболочку. + +Круглые скобки с $ `$()` используются для выполнения команды и подстановки её вывода. + +```bash +current_date=$(date) +echo "Today is $current_date" +``` + +Фигурные скобки `{}` в Bash не меняют интерпретацию переменной, а только ограничивают её границы + +```bash +# НЕВЕРНО, ! интерпретируется как часть имени переменной +name="Alice" +echo "Hello, $name!" +``` +```bash +# ВЕРНО +name="Alice" +echo "Hello, ${name}!" +``` + +- `${VAR:-default}:` Когда нужно временно использовать значение по умолчанию, но не изменять переменную. + +- `${VAR:=default}:` Когда нужно установить значение по умолчанию и сохранить его в переменной. + +- `${VAR:?error}:` Когда нужно убедиться, что переменная определена, и завершить выполнение, если это не так. + +- `${VAR:+value}:` Когда нужно выполнить действие только если переменная определена и не пуста. ### Systemd diff --git a/docs/linux/Команды.md b/docs/linux/Команды.md index 976763b..240d433 100644 --- a/docs/linux/Команды.md +++ b/docs/linux/Команды.md @@ -221,18 +221,6 @@ - `tar -czvf logs_archive.tar.gz log1.log log2.log log3.log` - создать архив `.tar.gz` - `tar -tzvf logs_archive.tar.gz` - просмотр содержимого архива ---- - -- `zip ` (`-r` - рекурсивное сжатие, `-v` - подробный вывод) -- `zip -u ` - добавление файлов к существующему архиву -- `unzip -l ` - проверить содержимое zip-архива -- `gzip -c ` - сохранить оригинальный файл после сжатия -- `unzip -d ` - извлечь файлы в указанный каталог -- `unzip -l ` - посмотреть содержимое файла без распаковки -- `gunzip ` - не сохраняет исходный архив -- `gunzip -c ` - распаковывает сжатый .gz файл и выводит его содержимое в стандартный вывод (stdout), без удаления оригинального сжатого файла - - #### Screen - `screen -L -Logfile mylog.txt -S mysession` - запуск новой сессии скрин, лог будет писаться в каталог, из которого запустили `screen` (`-a` - писать лог уже в существующий в лог файл) @@ -328,6 +316,17 @@ С setuid: программа запускается с правами владельца файла (часто — root), независимо от того, кто её запустил. +--- + +- `zip ` (`-r` - рекурсивное сжатие, `-v` - подробный вывод) +- `zip -u ` - добавление файлов к существующему архиву +- `unzip -l ` - проверить содержимое zip-архива +- `gzip -c ` - сохранить оригинальный файл после сжатия +- `unzip -d ` - извлечь файлы в указанный каталог +- `unzip -l ` - посмотреть содержимое файла без распаковки +- `gunzip ` - не сохраняет исходный архив +- `gunzip -c ` - распаковывает сжатый .gz файл и выводит его содержимое в стандартный вывод (stdout), без удаления оригинального сжатого файла + ### Диски - `fdisk -l` - Показывает список всех подключенных устройств (жестких дисков, SSD и т.д.). @@ -394,6 +393,7 @@ mount [OPTIONS] - `cat | grep -P "May 2 08:5(3|4|5):"` - ну понятно - `grep --text -A 1000000 "2025-02-23 13:00:00" catalina.out > cut.log` - вывести `1000000` строк после `"2025-02-23 13:00:00"` +- `sort file.txt | uniq -d` - вывести дублирующиеся строки в файле ### Логирование diff --git a/docs/nginx/Nginx.md b/docs/nginx/Nginx.md new file mode 100644 index 0000000..ad27721 --- /dev/null +++ b/docs/nginx/Nginx.md @@ -0,0 +1,158 @@ +### root vs alias + +#### root + +Добавляет URL к указанному пути. + +``` +location /images/ { + alias /var/www/myapp/static/; +} +``` + +Если запрошен URL `/images/photo.jpg`, Nginx будет искать файл по пути `/var/www/myapp/static/images/photo.jpg`. + +#### alias + +Заменяет часть URL на указанный путь. + +``` +location /images/ { + alias /var/www/myapp/static/; +} +``` + +Если запрошен URL `/images/photo.jpg`, Nginx будет искать файл по пути `/var/www/myapp/static/photo.jpg`. + +В `alias` корреткно не работают регулярки + +!!! tip "" + Не забывай добавлять `/` в конце строки в директиве `location` + +### Директивы + +#### http + +Блок `http` используется для настройки параметров, связанных с обработкой HTTP-запросов. + +#### server + +Блок `server` определяет виртуальный сервер (хост). Внутри этого блока настраиваются параметры для обработки запросов к определенному домену или IP-адресу. + +- `listen`: Порт и IP-адрес, на котором сервер будет принимать запросы. +- `server_name`: Имя сервера (домен или поддомен). `server_name _`: Nginx использует этот блок server как сервер по умолчанию для запросов, которые не соответствуют другим блокам `server`. +- `location`: Блоки для обработки конкретных URL. + + +#### Разное + +- `upstream`: Используется для настройки балансировки нагрузки между несколькими серверами +``` +http { + upstream backend { + server 192.168.1.1; + server 192.168.1.2; + } + + server { + listen 80; + server_name example.com; + + location / { + proxy_pass http://backend; + } + } +} +``` + +- `include`: Позволяет подключать дополнительные конфигурационные файлы +- `error_page`: Настройка страниц ошибок +- `access_log` и `error_log`: Настройка логов + +--- + +Директива `worker_processes` определяет количество процессов (worker processes), которые Nginx будет использовать для обработки запросов. При значение `auto` Nginx автоматически определяет оптимальное количество worker-процессов на основе количества ядер CPU. Каждый worker-процесс может обрабатывать множество соединений (зависит от параметра `worker_connections`). + +--- + +Блок `location` + +- `root`: Корневая директория для поиска файлов. +- `alias`: Замена части URL на другой путь. +- `proxy_pass`: Перенаправление запросов на другой хост. +- `try_files`: Попытка найти файл по указанному пути. + +--- + +`access_log` глобально задать нельзя. Можно переопределять на уровне `http`, `server` или `location`. +`error_log` можно задать глобально. Можно переопределять на уровне `http`, `server` или `location`. + +--- + +`proxy_set_header` Позволяет изменять или добавлять HTTP-заголовки, которые Nginx передаёт проксируемому серверу. Добавляет заголовок, если его нет. Перезаписывает, если он уже есть. + +`proxy_pass_header` Позволяет передавать заголовки от backend клиенту + +``` +# Передаёт backend-серверу доменное имя хоста из запроса клиента +proxy_set_header Host $host; +# Передаёт backend-серверу ip-адрес клиента +proxy_set_header X-Real-IP $remote_addr; +# Передаёт цепочку прокси-серверов, через которые прошёл запрос и добавляет в конец реальный ip-адрес клиента +proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; +# Передаёт backend-серверу протокол, который использовал клиент (например, http или https) +proxy_set_header X-Forwarded-Proto $scheme; +``` + +### Проксирование + +Когда Nginx получает запрос от клиента, он не изменяет заголовки по умолчанию. Однако, если Nginx выступает в роли прокси (используется proxy_pass), он может изменить или удалить некоторые заголовки. + +При проксировании Nginx передаёт следующие заголовки: + +- `Host` - По умолчанию Nginx передаёт заголовок Host из запроса клиента, но если используется proxy_pass, Nginx может заменить Host на IP-адрес backend-сервера, если не указано иное. +- `Connection` - Nginx автоматически добавляет или изменяет заголовок Connection для управления keepalive-соединениями (значение заголовка: `keep-alive`, `close`) +- `X-Real-IP` +- `X-Forwarded-For` +- `X-Forwarded-Proto` + +Nginx автоматически добавляет заголовки `X-Forwarded-For`, `X-Real-IP` и `X-Forwarded-Proto`, если они не указаны явно. + +Остальные заголовки не передаются, если не указаны явно с помощью `proxy_set_header`. + +### Переменные в Nginx + +- `$host` - доменное имя сервера и порт (если указан), содержит значение заголовка Host из запроса клиента +- `$content_type` - значение заголовка `Content-Type` из запроса клиента +- `$content_length` - значение заголовка `Content-Length` из запроса клиента +- `$remote_addr` - ip-адрес клиента, который сделал запрос +- `$scheme` - протокол запроса +- `$request_method` - http метод запроса +- `$request_uri` - полный URL запроса +- `$uri` - URL без параметров +- `$args` - параметры запроса, часть после `?` +- `$cookie_*` - переменные для доступа к кукам, из запроса клиента. +- `$http_*` - переменные для доступа к любым HTTP-заголовкам, из запроса клиента. + - `$http_user_agent` — заголовок User-Agent. + - `$http_referer` — заголовок Referer. +- `$server_name` - значение, указанное в директиве server_name в конфигурации Nginx +- `$server_port` - порт на который пришел запрос +- `$status` - http статус ответа +- `$upstream_*` - содержат информацию о взаимодействии Nginx с backend-серверами (upstream) + - `$upstream_addr` - IP-адрес и порт backend-сервера, который обработал запрос + - `$upstream_status` - HTTP-статус ответа от backend-сервера + - `$upstream_response_time` - Время, которое backend-сервер потратил на обработку запроса (в секундах) + - `$upstream_header_*` - Заголовки, полученные от backend-сервера. + +### Уровни логирования + +1. `debug`: Отладочные сообщения (самый подробный уровень). +2. `info`: Информационные сообщения. +3. `notice`: Важные, но не критические события. +4. `warn`: Предупреждения. +5. `error`: Ошибки (например, проблемы с конфигурацией). +6. `crit`: Критические ошибки. +7. `alert`: Ещё более критические ошибки. +8. `emerg`: Аварийные ситуации (Nginx не работает). + + diff --git a/docs/postgresql/Разное.md b/docs/postgresql/Разное.md index 3410779..f86ce5b 100644 --- a/docs/postgresql/Разное.md +++ b/docs/postgresql/Разное.md @@ -179,6 +179,16 @@ WHERE relname = 'название таблицы'; ``` ```sql +-- имя индексов в таблице и скрипт которым создан индекс +SELECT + indexname, + indexdef +FROM + pg_indexes +WHERE + tablename = 'table_name'; +``` +```sql -- блокировки в БД SELECT blocked_locks.pid AS blocked_pid, @@ -239,10 +249,180 @@ FROM pg_stat_database; ### Бэкапирование -- `pg_dump -U -t -h -d | gzip > /.sql.gz` - снятие дампа с таблицы -- `gunzip /tmp/.sql.gz | psql -h -U -d -t >> .log` - восстановление таблицы +По умолчанию pg_dump создает логический бэкап в формате plain (обычный SQL-скрипт) -\# TODO дополнить раздел +В PostgreSQL есть два типа дампов: + +- `Физические (pg_basebackup)` — побайтовая копия файлов БД. +- `Логические (pg_dump, pg_dumpall)` — SQL-скрипты или архивные файлы. + +!!! info "" + `pg_dumpall` создает резервную копию всех баз данных, роли (пользователи и группы), права доступа (GRANT/REVOKE), настройки tablespace, глобальные параметры (например, настройки аутентификации). Умеет отдавать только дамп в формате .sql + + `pg_dump` не экспортирует роли, права доступа, tablespaces, параметры кластера (например, `pg_hba.conf`) + +1. plain (Текстовый SQL-скрипт) + +Описание: + +В этом формате по дефолту снимает `pg_dump`. Формат plain представляет собой обычный SQL-скрипт, содержащий скрипты `CREATE TABLE`, `INSERT INTO`, `ALTER TABLE` и другие скрипты для создания и наполнения бд . + +Дамп в формате `plain`: +```bash +pg_dump -U postgres -d mydatabase -Fp -f backup.sql +``` +Пример содержимого файла дампа: + +```sql +CREATE TABLE users ( + id SERIAL PRIMARY KEY, + name TEXT +); +INSERT INTO users (id, name) VALUES (1, 'Alice'); +``` + +- Можно редактировать в текстовом редакторе. + +- Можно восстановить частично, скопировав нужные команды. + +- Относительно долгое восстановление, так как все данные вставляются скриптами. + +Как восстановить: +```bash +psql -U postgres -d mydatabase -f backup.sql +``` + +2. custom (Сжатый бинарный формат) + +Описание: + +Формат custom является бинарным, поддерживает сжатие и позволяет восстанавливать отдельные объекты базы данных, такие как таблицы и схемы. + +Как создать дамп в формате `custom`: +```bash +pg_dump -U postgres -d mydatabase -Fc -Z 9 -f backup.dump +``` +Параметры: + +- `Fc` - указывает на использование формата custom. +- `Z 9` - применяет максимальное сжатие дампа. +- `-a` или `--data-only`: Дамп только данных, без схемы +- `-s` или `--schema-only`: Дамп только схемы, без данных +- `-O` или `--no-owner`: Исключает команды SET OWNER из дампа +- `-x` или `--no-privileges`: Исключает команды GRANT/REVOKE из дампа. + +- Поддерживает выборочное снятие отдельных объектов. +- Поддерживает параллельное снятие с `-j`. + +Посмотреть содержимое дампа без восстановления: +```bash +pg_restore -l backup.dump +``` + +Как восстановить базу данных: +```bash +pg_restore -U postgres -d mydatabase -f backup.dump +``` + +3. directory (Каталог с дампом) + +Описание: + +Формат `directory` сохраняет резервную копию в виде каталога, содержащего отдельные файлы для каждой таблицы и других объектов базы данных. Этот формат позволяет параллельно снимать бэкап. + +Дамп в формате `directory`: + +```bash +pg_dump -U postgres -d mydatabase -Fd -j4 -f backup_dir/ +``` + +Параметры: + +- `Fd` — указывает на формат directory. +- `j4` — использует 4 параллельных потока для ускорения процесса. + +- Можно восстанавливать отдельные таблицы и объекты. + +Восстановление +```bash +pg_restore -U postgres -d mydatabase -j 4 backup_dir/ +``` + +4. tar (Архив tar) +Описание: + +Формат tar создает архив tar, содержащий все необходимые файлы для восстановления базы данных. Он удобен для хранения и передачи, но восстановление в данном формате выполняется медленнее по сравнению с `directory` или `custom`. + +Дамп в формате `tar`: +```bash +pg_dump -U postgres -d mydatabase -F t -f backup.tar +``` +Параметры: + +- Ft — указывает на формат tar. +- Медленное восстановление, так как данные сначала извлекаются из архива. + +Восстановление бд: +```bash +pg_restore -U postgres -d mydatabase -Ft backup.tar +``` + +!!! info "" + Все форматы дампов кроме `.sql` восстанавливаются через `pg_restore` + + +#### Пример организации бэкапирования + +Скрипт `backup.sh` для снятия бэкапа, удаления бэкапов +```bash +#!/bin/bash + +if [ "$#" -ne 3 ]; then + echo "Необходимо передать три аргумента." + echo "Пример: $0 <имя_стенда> <имя_базы_данных> <время_жизни_бэкапа_в_днях>" + exit 1 +fi + +PG_PASSWORD="postgres" +PG_PORT="5432" +STAND_NAME="$1" +DB_NAME="$2" +BACKUP_TTL="$3" +BACKUP_DIR="/opt/backups/${STAND_NAME}" +BACKUP_FILE="${STAND_NAME}_$(date +%Y%m%d).dump" +LOG_DIR="${BACKUP_DIR}/logs" +LOG_FILE="${LOG_DIR}/backup_${STAND_NAME}.log" + +mkdir -p "${BACKUP_DIR}" +mkdir -p "${LOG_DIR}" + +echo "$(date +%Y%m%d_%H%M%S) Начало резервного копирования базы данных ${DB_NAME}" >> ${LOG_FILE} + +PGPASSWORD=${PG_PASSWORD} pg_dump -p ${PG_PORT} -h localhost -U postgres -d ${DB_NAME} -Fc -Z 9 -f "${BACKUP_DIR}/${BACKUP_FILE}" 2>> ${LOG_FILE} + +if [ $? -eq 0 ]; then + echo "$(date +%Y%m%d_%H%M%S) Резервное копирование успешно завершено: ${BACKUP_DIR}/${BACKUP_FILE}" >> ${LOG_FILE} + + find ${BACKUP_DIR} -type f -name "*.dump" -mtime +${BACKUP_TTL} -exec rm {} \; + + if [ $? -eq 0 ]; then + echo "$(date +%Y%m%d_%H%M%S) Бэкапы старше ${BACKUP_TTL} дней удалены." >> ${LOG_FILE} + else + echo "$(date +%Y%m%d_%H%M%S) Ошибка при удалении бэкапов." >> ${LOG_FILE} + fi + +else + echo "$(date +%Y%m%d_%H%M%S) Ошибка при резервном копировании базы данных ${DB_NAME}" >> ${LOG_FILE} +fi +``` + +Добавить в `cron` + +```bash +# Для снятия бэкапа: <путь к скрипту> <имя каталога для бэкапа> <имя базы данных стенда> <кол-во хранимых бэкапов> +00 23 * * * /opt/backups/backup.sh stand1 database1 3 +59 23 * * * /opt/backups/backup.sh stand2 database2 3 +``` ### Разное diff --git a/docs/postgresql/Репликация.md b/docs/postgresql/Репликация.md index 3f181b3..3d588fd 100644 --- a/docs/postgresql/Репликация.md +++ b/docs/postgresql/Репликация.md @@ -102,180 +102,3 @@ select * from pg_stat_replication; ```sql select * from pg_stat_wal_receiver; ``` - -## Бэкапирование - -По умолчанию pg_dump создает логический бэкап в формате plain (обычный SQL-скрипт) - -В PostgreSQL есть два типа дампов: - -- `Физические (pg_basebackup)` — побайтовая копия файлов БД. -- `Логические (pg_dump, pg_dumpall)` — SQL-скрипты или архивные файлы. - -!!! info "" - `pg_dumpall` создает резервную копию всех баз данных, роли (пользователи и группы), права доступа (GRANT/REVOKE), настройки tablespace, глобальные параметры (например, настройки аутентификации). Умеет отдавать только дамп в формате .sql - - `pg_dump` не экспортирует роли, права доступа, tablespaces, параметры кластера (например, `pg_hba.conf`) - -1. plain (Текстовый SQL-скрипт) - -Описание: - -В этом формате по дефолту снимает `pg_dump`. Формат plain представляет собой обычный SQL-скрипт, содержащий скрипты `CREATE TABLE`, `INSERT INTO`, `ALTER TABLE` и другие скрипты для создания и наполнения бд . - -Дамп в формате `plain`: -```bash -pg_dump -U postgres -d mydatabase -Fp -f backup.sql -``` -Пример содержимого файла дампа: - -```sql -CREATE TABLE users ( - id SERIAL PRIMARY KEY, - name TEXT -); -INSERT INTO users (id, name) VALUES (1, 'Alice'); -``` - -- Можно редактировать в текстовом редакторе. - -- Можно восстановить частично, скопировав нужные команды. - -- Относительно долгое восстановление, так как все данные вставляются скриптами. - -Как восстановить: -```bash -psql -U postgres -d mydatabase -f backup.sql -``` - -2. custom (Сжатый бинарный формат) - -Описание: - -Формат custom является бинарным, поддерживает сжатие и позволяет восстанавливать отдельные объекты базы данных, такие как таблицы и схемы. - -Как создать дамп в формате `custom`: -```bash -pg_dump -U postgres -d mydatabase -Fc -Z 9 -f backup.dump -``` -Параметры: - -- `Fc` - указывает на использование формата custom. -- `Z 9` - применяет максимальное сжатие дампа. -- `-a` или `--data-only`: Дамп только данных, без схемы -- `-s` или `--schema-only`: Дамп только схемы, без данных -- `-O` или `--no-owner`: Исключает команды SET OWNER из дампа -- `-x` или `--no-privileges`: Исключает команды GRANT/REVOKE из дампа. - -- Поддерживает выборочное снятие отдельных объектов. -- Поддерживает параллельное снятие с `-j`. - -Посмотреть содержимое дампа без восстановления: -```bash -pg_restore -l backup.dump -``` - -Как восстановить базу данных: -```bash -pg_restore -U postgres -d mydatabase -f backup.dump -``` - -3. directory (Каталог с дампом) - -Описание: - -Формат `directory` сохраняет резервную копию в виде каталога, содержащего отдельные файлы для каждой таблицы и других объектов базы данных. Этот формат позволяет параллельно снимать бэкап. - -Дамп в формате `directory`: - -```bash -pg_dump -U postgres -d mydatabase -Fd -j4 -f backup_dir/ -``` - -Параметры: - -- `Fd` — указывает на формат directory. -- `j4` — использует 4 параллельных потока для ускорения процесса. - -- Можно восстанавливать отдельные таблицы и объекты. - -Восстановление -```bash -pg_restore -U postgres -d mydatabase -j 4 backup_dir/ -``` - -4. tar (Архив tar) -Описание: - -Формат tar создает архив tar, содержащий все необходимые файлы для восстановления базы данных. Он удобен для хранения и передачи, но восстановление в данном формате выполняется медленнее по сравнению с `directory` или `custom`. - -Дамп в формате `tar`: -```bash -pg_dump -U postgres -d mydatabase -F t -f backup.tar -``` -Параметры: - -- Ft — указывает на формат tar. -- Медленное восстановление, так как данные сначала извлекаются из архива. - -Восстановление бд: -```bash -pg_restore -U postgres -d mydatabase -Ft backup.tar -``` - -!!! info "" - Все форматы дампов кроме `.sql` восстанавливаются через `pg_restore` - - -### Пример организации бэкапирования - -Скрипт `backup.sh` для снятия бэкапа, удаления бэкапов -```bash -#!/bin/bash - -if [ "$#" -ne 3 ]; then - echo "Необходимо передать три аргумента." - echo "Пример: $0 <имя_стенда> <имя_базы_данных> <время_жизни_бэкапа_в_днях>" - exit 1 -fi - -PG_PASSWORD="postgres" -PG_PORT="5432" -STAND_NAME="$1" -DB_NAME="$2" -BACKUP_TTL="$3" -BACKUP_DIR="/opt/backups/${STAND_NAME}" -BACKUP_FILE="${STAND_NAME}_$(date +%Y%m%d).dump" -LOG_DIR="${BACKUP_DIR}/logs" -LOG_FILE="${LOG_DIR}/backup_${STAND_NAME}.log" - -mkdir -p "${BACKUP_DIR}" -mkdir -p "${LOG_DIR}" - -echo "$(date +%Y%m%d_%H%M%S) Начало резервного копирования базы данных ${DB_NAME}" >> ${LOG_FILE} - -PGPASSWORD=${PG_PASSWORD} pg_dump -p ${PG_PORT} -h localhost -U postgres -d ${DB_NAME} -Fc -Z 9 -f "${BACKUP_DIR}/${BACKUP_FILE}" 2>> ${LOG_FILE} - -if [ $? -eq 0 ]; then - echo "$(date +%Y%m%d_%H%M%S) Резервное копирование успешно завершено: ${BACKUP_DIR}/${BACKUP_FILE}" >> ${LOG_FILE} - - find ${BACKUP_DIR} -type f -name "*.dump" -mtime +${BACKUP_TTL} -exec rm {} \; - - if [ $? -eq 0 ]; then - echo "$(date +%Y%m%d_%H%M%S) Бэкапы старше ${BACKUP_TTL} дней удалены." >> ${LOG_FILE} - else - echo "$(date +%Y%m%d_%H%M%S) Ошибка при удалении бэкапов." >> ${LOG_FILE} - fi - -else - echo "$(date +%Y%m%d_%H%M%S) Ошибка при резервном копировании базы данных ${DB_NAME}" >> ${LOG_FILE} -fi -``` - -Добавить в `cron` - -```bash -# Для снятия бэкапа: <путь к скрипту> <имя каталога для бэкапа> <имя базы данных стенда> <кол-во хранимых бэкапов> -00 23 * * * /opt/backups/backup.sh stand1 database1 3 -59 23 * * * /opt/backups/backup.sh stand2 database2 3 -``` \ No newline at end of file