ICE-NET/archive/implementation/tests_metrics.md
loki5512344 2e61688eb3
Some checks failed
rust-ci / checks (push) Has been cancelled
Initial import: ICE-NET research docs and Rust workspace (v0.4)
- Rust workspace: 7 library crates, icenetd CLI, icenet-city (Slint GUI)
- Sim: fix false Delivered after a route cut, derive traffic class from
  payload size, per-link airtime slots (link capacity, queueing)
- Docs: single docs/STATUS.md for all figures, remove v0.2/egui leftovers,
  drop unimplemented seed claims, uncheck store-and-forward
- License: LGPL-3.0-or-later (LICENSE, LICENSES/GPL-3.0.txt)
2026-11-13 12:28:48 +01:00

4 KiB
Raw Blame History

Метрики, протоколы испытаний и критерии фальсификации

Что мерить

Метрика Единица Зачем
Delivery ratio % сообщений, дошедших до адресата основная функция сети
Time-to-first-route p50/p95 секунд discovery и routing
Time-to-recover p95 секунд self-healing после отказа
Control-plane airtime % физического канала предотвращение засорения LoRa
Goodput полезных бит/с отличие от линковой скорости
Bottleneck throughput бит/с видимость узкого hop
Tail latency p99 мс/с редкие тяжёлые задержки
CPU usage % ядра / пакетов в секунду слабые устройства
RAM per 1000 peers MiB масштабируемость
Storage per relay MiB / TTL злоупотребление DTN
False positive blocking % нормального трафика ICE качество
Metadata exposed список полей / hop приватность
Energy budget mWh / переданный MiB мобильные узлы

Первые гипотезы

  • H1: адаптивные объявления с rate cap сохраняют более низкий control-plane airtime, чем регулярный flood в тех же условиях.
  • H2: отделение пути DATA от discovery предотвращает переполнение медленного радио при передаче фото.
  • H3: path cache снижает число route queries, но увеличивает stale route errors.
  • H4: предельные политики ICE сохраняют RAM/CPU bounded при злонамеренном флуде.

Каждую проверять на одинаковом графе, seed, traffic pattern, времени работы и уровне потерь. Результаты должны включать отрицательные сценарии.

Тестовые пакеты и fuzz

  1. Неправильная длина пакета и неизвестные поля.
  2. Повторный MessageID.
  3. TTL=0, TTL переполнение, поддельные ACK.
  4. Большие фрагменты и неограниченная reassembly.
  5. Быстро меняющийся next hop.
  6. 1000 случайных NodeID от одного радиоисточника.
  7. Восстановление после отключения половины узлов.
  8. Локальный сервис закрыт для чужих ключей.

Что означало бы провал концепции

Если после разумной оптимизации control traffic растёт быстрее полезной пропускной способности медленных каналов; если нет возможности валидировать доставку без массового слежения; если цена хранения/перенаправления не ограничивается; если реальная радиофизика не позволяет полезные маршруты для целевого сценария без неприемлемой инфраструктуры. Тогда надо изменить архитектуру, а не скрывать результаты.

Как оформлять бенчмарк

Один Markdown-отчёт, таблица CSV/JSON (будущий репозиторий), дата и hardware, commit hash, конфигурация, seed, график, выводы, ограничения. Не публиковать заявления «в 100 раз лучше Reticulum» без честных сравнимых измерений.