guard/docs/disaster_recovery.md
loki5512344 280284667f
docs: per-task roadmap, architecture and changelog
- Split TODO into a thin status index plus docs/roadmap/ with one file per
  task (v0.4 reliability, v0.5 product, v0.6 research, icebox).
- Add docs/architecture.md (current processes, packet/data path, layers,
  storage, metrics) and docs/development.md (rules, gates, DoD).
- Add CHANGELOG.md reconstructed from history; move round details out of
  TODO.
- Align docs with the code: config defaults and missing [detect]/
  [protocol.http] sections, XDP metric names, ClickHouse table and TTL,
  Redis RDB restore, multiarch clang include, CLI binary name.
- Add scripts/check_docs_links.sh and run it in CI.
- release profile: thin LTO + one codegen unit. Binary 12.3 MB -> 9.7 MB,
  http parser bench 314 ns -> 278 ns; panic=abort stays off for
  catch_unwind in the Redis subscriber.
- Drop the unused JWT role claim; fix 'rampart doctor' hints in the CLI.
2026-11-16 14:51:50 +01:00

4.8 KiB
Raw Blame History

Disaster Recovery - Rampart

Что делать, когда что-то пошло не так.

Схема failover

Redis упал:
  Edge: продолжает автономно на локальном кэше блэклиста
  Manager: Redis-зависимые API отвечают 503 → восстановить Redis

Manager упал:
  Edge: продолжает фильтрацию (фильтрация не зависит от Manager)
  Управление (CLI/API) недоступно до восстановления

Edge нода упала:
  Клиенты за ней теряют соединение
  При нескольких edge → DNS round-robin на живые
  Если edge одна — сервис недоступен

Полный сбой дата-центра:
  Edge в других ДЦ продолжают работу
  Общие баны/ноды не синхронизируются до восстановления Redis

1. Redis упал

Симптомы

  • Edge перестал синхронизировать блэклист
  • Manager API отвечает 503 на /nodes, /servers и /blacklist

Влияние

  • Edge: работает с локальным кэшем; новые баны не распространяются между нодами.
  • Manager: Redis-зависимые эндпоинты отвечают 503.

Действия

redis-cli ping || systemctl restart redis

# Поднять новый (пароль должен совпадать):
docker run -d --name rampart-redis -p 6379:6379 \
  redis:7-alpine redis-server --requirepass "$REDIS_PASSWORD"

systemctl restart rampart-manager   # переподключится
# Edge переподключается сам (retry в драйвере); иначе:
systemctl restart rampart

Предотвращение

  • AOF + RDB persistence включены
  • Регулярные бэкапы: redis-cli SAVE

2. Manager упал

Симптомы

  • rampart-cli команды падают с ошибкой соединения
  • /api/v1/health не отвечает

Влияние

  • Edge продолжает фильтровать трафик автономно.

Действия

systemctl status rampart-manager
journalctl -u rampart-manager -n 50 --no-pager
systemctl restart rampart-manager

# Не стартует? Частая причина — env:
# JWT_SECRET < 32 байт или API_PASSWORD=changeme → процесс выходит с ошибкой.
journalctl -u rampart-manager -e | grep ERROR

3. Edge нода упала

Симптомы

  • Клиенты теряют соединение, метрики :9090 пропали

Действия

systemctl status rampart
journalctl -u rampart -n 50 --no-pager

dmesg | grep -i "oom\|rampart"    # OOM kill?
systemctl restart rampart

# Не стартует — проверь конфиг и логи (см. runbook.md §3)

Предотвращение

  • Минимум 2 edge ноды + DNS round-robin
  • systemd Restart=always
  • Несколько edge нод за одним DNS-именем

4. ClickHouse упал

Влияние

Только потеря аналитики: события буферизуются и пишутся асинхронно, фильтрация не зависит от ClickHouse.

Действия

curl http://localhost:8123/ping || systemctl restart clickhouse-server
df -h /var/lib/clickhouse   # диск полон?

5. Полный сбой инфраструктуры

# 1. Поднять Manager на новой VDS
docker compose up -d redis && cargo run --release --bin rampart-manager

# 2. Восстановить Redis из RDB-бэкапа. `redis-cli --pipe` для этого не подходит:
#    он принимает RESP-команды, а не дамп. Порядок:
systemctl stop redis
sudo cp /backup/rampart-redis-$(date +%Y-%m-%d).rdb /var/lib/redis/dump.rdb
sudo chown redis:redis /var/lib/redis/dump.rdb
systemctl start redis
redis-cli DBSIZE                     # снимок загрузился?

# 3. Edge ноды переподключатся автоматически

# 4. Проверить
rampart-cli doctor

6. Cheatsheet быстрых команд

systemctl restart rampart rampart-manager redis clickhouse-server
journalctl -u rampart -n 50 -f
htop -p $(pgrep -d',' rampart)
iftop -i eth0
ss -s | grep TCP

Готовый список остальных проверок — в troubleshooting.md и runbook.md; план развития диагностики — в roadmap/v0.4-startup-diagnostics.md.

Версия: 3.0 | Ноябрь 2026