guard/docs/disaster_recovery.md
loki5512344 280284667f
docs: per-task roadmap, architecture and changelog
- Split TODO into a thin status index plus docs/roadmap/ with one file per
  task (v0.4 reliability, v0.5 product, v0.6 research, icebox).
- Add docs/architecture.md (current processes, packet/data path, layers,
  storage, metrics) and docs/development.md (rules, gates, DoD).
- Add CHANGELOG.md reconstructed from history; move round details out of
  TODO.
- Align docs with the code: config defaults and missing [detect]/
  [protocol.http] sections, XDP metric names, ClickHouse table and TTL,
  Redis RDB restore, multiarch clang include, CLI binary name.
- Add scripts/check_docs_links.sh and run it in CI.
- release profile: thin LTO + one codegen unit. Binary 12.3 MB -> 9.7 MB,
  http parser bench 314 ns -> 278 ns; panic=abort stays off for
  catch_unwind in the Redis subscriber.
- Drop the unused JWT role claim; fix 'rampart doctor' hints in the CLI.
2026-11-16 14:51:50 +01:00

158 lines
4.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Disaster Recovery - Rampart
> Что делать, когда что-то пошло не так.
## Схема failover
```
Redis упал:
Edge: продолжает автономно на локальном кэше блэклиста
Manager: Redis-зависимые API отвечают 503 → восстановить Redis
Manager упал:
Edge: продолжает фильтрацию (фильтрация не зависит от Manager)
Управление (CLI/API) недоступно до восстановления
Edge нода упала:
Клиенты за ней теряют соединение
При нескольких edge → DNS round-robin на живые
Если edge одна — сервис недоступен
Полный сбой дата-центра:
Edge в других ДЦ продолжают работу
Общие баны/ноды не синхронизируются до восстановления Redis
```
---
## 1. Redis упал
### Симптомы
- Edge перестал синхронизировать блэклист
- Manager API отвечает `503` на `/nodes`, `/servers` и `/blacklist`
### Влияние
- **Edge:** работает с локальным кэшем; новые баны не распространяются между нодами.
- **Manager:** Redis-зависимые эндпоинты отвечают `503`.
### Действия
```bash
redis-cli ping || systemctl restart redis
# Поднять новый (пароль должен совпадать):
docker run -d --name rampart-redis -p 6379:6379 \
redis:7-alpine redis-server --requirepass "$REDIS_PASSWORD"
systemctl restart rampart-manager # переподключится
# Edge переподключается сам (retry в драйвере); иначе:
systemctl restart rampart
```
### Предотвращение
- AOF + RDB persistence включены
- Регулярные бэкапы: `redis-cli SAVE`
---
## 2. Manager упал
### Симптомы
- `rampart-cli` команды падают с ошибкой соединения
- `/api/v1/health` не отвечает
### Влияние
- Edge продолжает фильтровать трафик автономно.
### Действия
```bash
systemctl status rampart-manager
journalctl -u rampart-manager -n 50 --no-pager
systemctl restart rampart-manager
# Не стартует? Частая причина — env:
# JWT_SECRET < 32 байт или API_PASSWORD=changeme → процесс выходит с ошибкой.
journalctl -u rampart-manager -e | grep ERROR
```
---
## 3. Edge нода упала
### Симптомы
- Клиенты теряют соединение, метрики :9090 пропали
### Действия
```bash
systemctl status rampart
journalctl -u rampart -n 50 --no-pager
dmesg | grep -i "oom\|rampart" # OOM kill?
systemctl restart rampart
# Не стартует — проверь конфиг и логи (см. runbook.md §3)
```
### Предотвращение
- Минимум 2 edge ноды + DNS round-robin
- systemd `Restart=always`
- Несколько edge нод за одним DNS-именем
---
## 4. ClickHouse упал
### Влияние
Только потеря аналитики: события буферизуются и пишутся асинхронно,
фильтрация не зависит от ClickHouse.
### Действия
```bash
curl http://localhost:8123/ping || systemctl restart clickhouse-server
df -h /var/lib/clickhouse # диск полон?
```
---
## 5. Полный сбой инфраструктуры
```bash
# 1. Поднять Manager на новой VDS
docker compose up -d redis && cargo run --release --bin rampart-manager
# 2. Восстановить Redis из RDB-бэкапа. `redis-cli --pipe` для этого не подходит:
# он принимает RESP-команды, а не дамп. Порядок:
systemctl stop redis
sudo cp /backup/rampart-redis-$(date +%Y-%m-%d).rdb /var/lib/redis/dump.rdb
sudo chown redis:redis /var/lib/redis/dump.rdb
systemctl start redis
redis-cli DBSIZE # снимок загрузился?
# 3. Edge ноды переподключатся автоматически
# 4. Проверить
rampart-cli doctor
```
---
## 6. Cheatsheet быстрых команд
```bash
systemctl restart rampart rampart-manager redis clickhouse-server
journalctl -u rampart -n 50 -f
htop -p $(pgrep -d',' rampart)
iftop -i eth0
ss -s | grep TCP
```
---
Готовый список остальных проверок — в [troubleshooting.md](troubleshooting.md) и
[runbook.md](runbook.md); план развития диагностики — в
[roadmap/v0.4-startup-diagnostics.md](roadmap/v0.4-startup-diagnostics.md).
*Версия: 3.0 | Ноябрь 2026*