ICE-NET/archive/implementation/tests_metrics.md
loki5512344 2e61688eb3
Some checks failed
rust-ci / checks (push) Has been cancelled
Initial import: ICE-NET research docs and Rust workspace (v0.4)
- Rust workspace: 7 library crates, icenetd CLI, icenet-city (Slint GUI)
- Sim: fix false Delivered after a route cut, derive traffic class from
  payload size, per-link airtime slots (link capacity, queueing)
- Docs: single docs/STATUS.md for all figures, remove v0.2/egui leftovers,
  drop unimplemented seed claims, uncheck store-and-forward
- License: LGPL-3.0-or-later (LICENSE, LICENSES/GPL-3.0.txt)
2026-11-13 12:28:48 +01:00

47 lines
4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Метрики, протоколы испытаний и критерии фальсификации
## Что мерить
| Метрика | Единица | Зачем |
|---|---|---|
| Delivery ratio | % сообщений, дошедших до адресата | основная функция сети |
| Time-to-first-route | p50/p95 секунд | discovery и routing |
| Time-to-recover | p95 секунд | self-healing после отказа |
| Control-plane airtime | % физического канала | предотвращение засорения LoRa |
| Goodput | полезных бит/с | отличие от линковой скорости |
| Bottleneck throughput | бит/с | видимость узкого hop |
| Tail latency | p99 мс/с | редкие тяжёлые задержки |
| CPU usage | % ядра / пакетов в секунду | слабые устройства |
| RAM per 1000 peers | MiB | масштабируемость |
| Storage per relay | MiB / TTL | злоупотребление DTN |
| False positive blocking | % нормального трафика | ICE качество |
| Metadata exposed | список полей / hop | приватность |
| Energy budget | mWh / переданный MiB | мобильные узлы |
## Первые гипотезы
- **H1:** адаптивные объявления с rate cap сохраняют более низкий control-plane airtime, чем регулярный flood в тех же условиях.
- **H2:** отделение пути DATA от discovery предотвращает переполнение медленного радио при передаче фото.
- **H3:** path cache снижает число route queries, но увеличивает stale route errors.
- **H4:** предельные политики ICE сохраняют RAM/CPU bounded при злонамеренном флуде.
Каждую проверять на одинаковом графе, seed, traffic pattern, времени работы и уровне потерь. Результаты должны включать отрицательные сценарии.
## Тестовые пакеты и fuzz
1. Неправильная длина пакета и неизвестные поля.
2. Повторный MessageID.
3. TTL=0, TTL переполнение, поддельные ACK.
4. Большие фрагменты и неограниченная reassembly.
5. Быстро меняющийся next hop.
6. 1000 случайных NodeID от одного радиоисточника.
7. Восстановление после отключения половины узлов.
8. Локальный сервис закрыт для чужих ключей.
## Что означало бы провал концепции
Если после разумной оптимизации control traffic растёт быстрее полезной пропускной способности медленных каналов; если нет возможности валидировать доставку без массового слежения; если цена хранения/перенаправления не ограничивается; если реальная радиофизика не позволяет полезные маршруты для целевого сценария без неприемлемой инфраструктуры. Тогда надо изменить архитектуру, а не скрывать результаты.
## Как оформлять бенчмарк
Один Markdown-отчёт, таблица CSV/JSON (будущий репозиторий), дата и hardware, commit hash, конфигурация, seed, график, выводы, ограничения. Не публиковать заявления «в 100 раз лучше Reticulum» без честных сравнимых измерений.