# Disaster Recovery - Rampart > Что делать, когда что-то пошло не так. ## Схема failover ``` Redis упал: Edge: продолжает автономно на локальном кэше блэклиста Manager: Redis-зависимые API отвечают 503 → восстановить Redis Manager упал: Edge: продолжает фильтрацию (фильтрация не зависит от Manager) Управление (CLI/API) недоступно до восстановления Edge нода упала: Клиенты за ней теряют соединение При нескольких edge → DNS round-robin на живые Если edge одна — сервис недоступен Полный сбой дата-центра: Edge в других ДЦ продолжают работу Общие баны/ноды не синхронизируются до восстановления Redis ``` --- ## 1. Redis упал ### Симптомы - Edge перестал синхронизировать блэклист - Manager API отвечает `503` на `/nodes`, `/servers` и `/blacklist` ### Влияние - **Edge:** работает с локальным кэшем; новые баны не распространяются между нодами. - **Manager:** Redis-зависимые эндпоинты отвечают `503`. ### Действия ```bash redis-cli ping || systemctl restart redis # Поднять новый (пароль должен совпадать): docker run -d --name rampart-redis -p 6379:6379 \ redis:7-alpine redis-server --requirepass "$REDIS_PASSWORD" systemctl restart rampart-manager # переподключится # Edge переподключается сам (retry в драйвере); иначе: systemctl restart rampart ``` ### Предотвращение - AOF + RDB persistence включены - Регулярные бэкапы: `redis-cli SAVE` --- ## 2. Manager упал ### Симптомы - `rampart-cli` команды падают с ошибкой соединения - `/api/v1/health` не отвечает ### Влияние - Edge продолжает фильтровать трафик автономно. ### Действия ```bash systemctl status rampart-manager journalctl -u rampart-manager -n 50 --no-pager systemctl restart rampart-manager # Не стартует? Частая причина — env: # JWT_SECRET < 32 байт или API_PASSWORD=changeme → процесс выходит с ошибкой. journalctl -u rampart-manager -e | grep ERROR ``` --- ## 3. Edge нода упала ### Симптомы - Клиенты теряют соединение, метрики :9090 пропали ### Действия ```bash systemctl status rampart journalctl -u rampart -n 50 --no-pager dmesg | grep -i "oom\|rampart" # OOM kill? systemctl restart rampart # Не стартует — проверь конфиг и логи (см. runbook.md §3) ``` ### Предотвращение - Минимум 2 edge ноды + DNS round-robin - systemd `Restart=always` - Несколько edge нод за одним DNS-именем --- ## 4. ClickHouse упал ### Влияние Только потеря аналитики: события буферизуются и пишутся асинхронно, фильтрация не зависит от ClickHouse. ### Действия ```bash curl http://localhost:8123/ping || systemctl restart clickhouse-server df -h /var/lib/clickhouse # диск полон? ``` --- ## 5. Полный сбой инфраструктуры ```bash # 1. Поднять Manager на новой VDS docker compose up -d redis && cargo run --release --bin rampart-manager # 2. Восстановить Redis из RDB-бэкапа. `redis-cli --pipe` для этого не подходит: # он принимает RESP-команды, а не дамп. Порядок: systemctl stop redis sudo cp /backup/rampart-redis-$(date +%Y-%m-%d).rdb /var/lib/redis/dump.rdb sudo chown redis:redis /var/lib/redis/dump.rdb systemctl start redis redis-cli DBSIZE # снимок загрузился? # 3. Edge ноды переподключатся автоматически # 4. Проверить rampart-cli doctor ``` --- ## 6. Cheatsheet быстрых команд ```bash systemctl restart rampart rampart-manager redis clickhouse-server journalctl -u rampart -n 50 -f htop -p $(pgrep -d',' rampart) iftop -i eth0 ss -s | grep TCP ``` --- Готовый список остальных проверок — в [troubleshooting.md](troubleshooting.md) и [runbook.md](runbook.md); план развития диагностики — в [roadmap/v0.4-startup-diagnostics.md](roadmap/v0.4-startup-diagnostics.md). *Версия: 3.0 | Ноябрь 2026*