Workspace of 9 crates (noxis, noxis-core, noxis-classfile, noxis-analysis, noxis-passes, noxis-runtime, noxis-jar, noxis-verify, noxis-structure-check). AGPL-3.0-only license, Rust 2024 edition, unsafe_code denied.
234 lines
16 KiB
Markdown
234 lines
16 KiB
Markdown
# todo.md — план работ noxis
|
||
|
||
Обновляется по мере выполнения. Текущее состояние кодовой базы — в
|
||
[`docs/architecture.md`](docs/architecture.md) (раздел «Статус»).
|
||
|
||
Обозначения: `[x]` готово и проверено, `[~]` частично, `[ ]` не начато,
|
||
`[!]` заблокировано другим пунктом.
|
||
|
||
---
|
||
|
||
## 0. Каркас и правила — **готово**
|
||
|
||
- [x] Workspace: `Cargo.toml`, lints (`deny(unsafe_code)`), release-профиль
|
||
- [x] Крейты: `noxis-classfile`, `noxis-core`, `noxis-analysis`,
|
||
`noxis-passes`, `noxis-runtime`, `noxis-jar`, `noxis-structure-check`
|
||
- [x] `noxis-structure-check`: 250 строк / 4 файла, вызывается из `build.rs`
|
||
каждого крейта, сканирует `src/` + `docs/`
|
||
- [x] `cargo:rerun-if-changed` на проверяемые деревья (гейт реагирует на `docs/`)
|
||
- [x] `scripts/check.sh` — `check → fmt --check → clippy -D warnings → test`
|
||
- [x] Документация: `docs/README`, `architecture`, `techniques`, `stack`,
|
||
`learnings/{lessons,reference,priorities}`
|
||
- [x] Гейт проверяет и `crates/*/tests`, `crates/*/benches` (правило нельзя
|
||
обойти выносом кода в тесты)
|
||
- [x] Лицензия: `LICENSE` (MIT), `Cargo.toml` → `license = "MIT"`,
|
||
`NOTICE.md` — third-party (`ristretto_classfile`)
|
||
|
||
## 1. Данные и модель — **готово**
|
||
|
||
- [x] IR: `Program → ClassFile → Code → Insn`, метки вместо смещений
|
||
- [x] `Attribute::Raw` — round-trip непонятных атрибутов
|
||
- [x] Builder + writer (без frames), `frames::compute_frames` — заглушка P1
|
||
- [x] Конфиг: `Profile`, `RenameConfig`, `StringsConfig`, `DebugConfig`,
|
||
`NoiseConfig`, `FlowConfig`; загрузка из TOML
|
||
- [x] Детерминированный PRNG: `xoshiro256++` + `splitmix64` +
|
||
доменное разделение по FNV-1a
|
||
- [x] Маппинги классов/полей/методов + JSON-отчёт `Report`/`PassReport`
|
||
- [x] Контракт `Pass` + `Context::rng(domain)`
|
||
|
||
## 2. Анализ — **готово**
|
||
|
||
- [x] `hierarchy`: слои наследования, `check::virtual_safe`
|
||
- [x] `entrypoints`: `main`, `<clinit>`, ServiceLoader, `jar:file` из manifest
|
||
- [x] `keep`: reflection по строкам (`Class.forName`, `getMethod`, …),
|
||
fixed-члены (`serialVersionUID`, `access_widened`, JNI/native),
|
||
поддержка `format::compute_frames` (`stackmap`), сериализация,
|
||
`@Override` + `getMethod` для стабов, `record`-аксессоры,
|
||
`enum`-константы (`values`/`valueOf`/`$VALUES`)
|
||
- [x] Детект класса из дескриптора (`Lpkg/C;` + dotted + slash)
|
||
|
||
## 3. Пассы
|
||
|
||
### 3.1 Переименование — **готово**
|
||
|
||
- [x] `namegen`: алфавиты, `builtin`/`english`/`cyrillic`-стили,
|
||
счётчики, запрет одинаковых имён в scope, `$` только если включено
|
||
- [x] `rename::assign`: классы в пакеты, private/static/final → Safe,
|
||
virtual → семейства, widening по `keep::widen` + policy
|
||
- [x] `rename::rewrite`: дескрипторы, `LDC`-классы, вызовы, поля,
|
||
exception table, `Signature`/`Exceptions`/`InnerClasses`/`MethodParameters`
|
||
- [x] `standard_pipeline()` — каркас конвейера
|
||
- [x] Тесты: round-trip классов, `constant_value` не тронут,
|
||
`ACC_BRIDGE`, `package-info`, `module-info`
|
||
|
||
### 3.2 Строки — **готово**
|
||
|
||
- [x] `noxis-runtime::scheme`: `XorSplitmix` + `XteaCtr`, salt→ключ,
|
||
nonce→stream, FNV-1a MAC, roundtrip/tamper-тесты
|
||
- [x] `noxis-runtime::decoder`: ABI `d(Ljava/lang/String;I)Ljava/lang/String;`
|
||
- [x] пасс `strings` (`passes/strings/{mod,crypt,tests}`): замена
|
||
`Const::String` → `cipher+salt+invokestatic`, ротация схем по `salt % n`
|
||
(salt всегда неотрицателен), split на 1–3 чанка + `String.concat`
|
||
- [x] генератор класса-декодера (`runtime/decoder/{mod,kdf,xor,xtea}`):
|
||
v49 без `StackMapTable`, KDF через FNV+`ByteBuffer`, мастер как `k1^k2`,
|
||
обе схемы побайтово зеркалят Rust
|
||
- [x] вывод мастер-секрета в рантайме (B2): части в `ldc2_w`, сборка в декодере
|
||
- [x] приёмка: `runtime/tests/exec.rs` — шифруем в Rust, расшифровываем
|
||
настоящим `java` (6 строк × 2 схемы, побайтовое сравнение stdout)
|
||
|
||
### 3.3 Константы — **готово (int/long)**
|
||
|
||
- [x] пасс `constants` (`passes/constants/{mod,forms,tests}`): `x^k`, `a+b`,
|
||
сдвиг; `ConstantsConfig{schemes, max_predicates, skip}` (секция TOML)
|
||
- [x] opaque-предикаты: `(C*C+C)&1 == 0` + мёртвая ветвь из `nop`
|
||
(константные — честно слабее против свёртки, см. ограничения)
|
||
- [x] отдельные схемы для `int`/`long`; `float`/`double` — не тронуты
|
||
|
||
### 3.4 Контрольный поток — **кадры готовы, схемы не начаты**
|
||
|
||
- [x] spike `ristretto_classfile 0.34` — backend выбран и подтверждён
|
||
(`tests/spike_ristretto.rs`: сборка/`verify`/round-trip/запись кадров)
|
||
- [x] spike по генерации кадров (`tests/spike_frames.rs`): inference работает,
|
||
**но кадры наружу не отдаются** — `inference`/`diagnostics`/`frame`
|
||
объявлены `pub(crate)`, строгий режим возвращает `Err(VerifyError)`
|
||
- [x] **решение: кадры считаем сами на своём IR**; вендор `inference`
|
||
отвергнут (14 `crate::`-ссылок, весь `verifiers/bytecode/` ≈ 9 700
|
||
строк, весь крейт 61 193 строки) — обоснование в `docs/stack.md` §3
|
||
- [x] реализация `format::parse` / `format::write` поверх ристретто
|
||
(`parse/{class,attrs}`, `write/{mod,pool,attrs,code/{mod,insns,ops,frames}}`;
|
||
пул строится заново детерминированным обходом; `tests/roundtrip.rs`:
|
||
минимальный класс, ветвления+handler+кадры, bootstrap — все green)
|
||
- [x] `SlotKind` в `Insn::Load/Store` (тип слота терялся при parse —
|
||
writer не мог восстановить `aload` vs `iload`); найдены пропущенные
|
||
`laload`/`lastore` (падали с «неизвестная инструкция»)
|
||
- [x] `Attribute::{BootstrapMethods, EnclosingMethod, MethodParameters,
|
||
ConstantValue}` — ссылки пула переживают пересборку; `keep` лочит
|
||
BSM-методы от переименования; `debug` режет новые варианты
|
||
- [x] `compute_frames` вместо заглушки (границы блоков, worklist, merge/LUB
|
||
через `Hierarchy`-трейт, эмиссия `StackMapFrame`)
|
||
(`format/frames/{mod,flow,emit,tests,xfer/{mod,stack,calls},merge/{mod,descs}}`)
|
||
- [x] приёмка: `java -Xverify:all` на фикстурах (`tests/data` 4 класса +
|
||
`tests/frames.rs`: снести кадры → посчитать → round-trip → `java`
|
||
для JDK-классов; `verify_class(Strict)` для приёмки НЕ годится —
|
||
backend хранит кадры в индексах, а его верификатор ждёт байты)
|
||
- [x] закрыты дыры: `I2d`/`I2D`, `Record` + `LocalVariableTypeTable` как явные
|
||
варианты (`Raw` со старыми индексами ломал чтение); кадры `Append` —
|
||
на гранулярности переменных (`[Top, Long]` отвергает JVM)
|
||
- [ ] 4 схемы: `state-spread`, `computed-switch`, `butterfly`, `exception-goto`
|
||
- [ ] ротация схем между методами + мешанина внутри метода
|
||
- [ ] только после: включение в `standard_pipeline`
|
||
|
||
### 3.5 Шум — **готово (без аннотаций)**
|
||
|
||
- [x] junk-классы + `weave_reachable` (`passes/noise/{mod,weave}`):
|
||
`shadow/decoyN` с `run()V`, вызов вшит перед терминалом живого метода
|
||
- [x] бюджет раздувания (`junk_ratio` × классы; по умолчанию 0 — выключено)
|
||
- [ ] junk-аннотации: пропущены сознательно (сырые атрибуты не несут свежие
|
||
индексы пула — нужно моделирование аннотаций)
|
||
|
||
### 3.6 Отладочная информация — **готово**
|
||
|
||
- [x] `DebugInfoPass`: strip `LineNumberTable`, `LocalVariableTable`,
|
||
`Signature`, `InnerClasses`, `EnclosingMethod`, `MethodParameters`
|
||
- [x] `spoof_source_file` — ложное, но правдоподобное имя (B4)
|
||
- [x] детерминированность подмены от мастер-сида
|
||
- [ ] `fake_line_numbers` — ложные номера строк (не только `SourceFile`)
|
||
- [ ] `strip_source_file` — полное удаление вместо подмены
|
||
|
||
### 3.7 Ресурсы — **частично**
|
||
|
||
- [x] крейт `noxis-jar`: чтение/запись ZIP (порядок, deflate, дубликаты)
|
||
- [x] `strip_signatures` — `*.SF/*.RSA/*.DSA/*.EC`, `META-INF/SIG-*`
|
||
- [x] `load`/`save` — архив ↔ `Program` (классы через парсер, остальное ресурсы)
|
||
- [x] пасс `resources`: патч текстовых ресурсов по маппингу (boundary-замена),
|
||
`META-INF/services/*`, 9 тестов, в `standard_pipeline`
|
||
- [ ] `fabric.mod.json`, `*.mixins.json`, refmap, access widener
|
||
|
||
## 4. Верификация — **не начато**
|
||
|
||
- [ ] крейт `noxis-verify`: красный список паттернов (хранится в репо)
|
||
- [ ] утечки имён: эталонный список идентификаторов → тест падает при утечке
|
||
- [ ] `java -Xverify:all` subprocess на обфусцированном jar
|
||
- [ ] метрики: размер, время, доля распознанных структур в декомпиляте
|
||
- [ ] бюджеты: ≤ N% размера, ≤ M% времени
|
||
- [ ] проверка стабильности между сборками (маппинги обязаны меняться)
|
||
- [ ] P3: опция `ristretto_vm` (встраиваемый JVM) вместо системного `java`
|
||
|
||
## 5. CLI — **не начато**
|
||
|
||
- [ ] крейт `noxis`: `obfuscate`, `analyze`, `patterns`
|
||
- [ ] флаги конфига + `--seed` (детерминированность по умолчанию)
|
||
- [ ] честные off-ключи: `--no-strings`, `--no-flow`, `--no-junk`, …
|
||
- [ ] JSON-отчёт маппингов
|
||
|
||
## 6. Тесты и данные
|
||
|
||
- [ ] regression-кейсы из референса: `smoke-safe`, `smoke-inheritance`,
|
||
`smoke-flow`, `smoke-fields`, `smoke-aes`
|
||
- [ ] встроить `.class`-фикстуры в `noxis-classfile/tests/data/`
|
||
- [ ] противник-скрипт (свёртка констант, regex) как тест в `noxis-verify`
|
||
|
||
### 6.1 Fixtures — jar из `/storage/project/jvm/` (найдены, не подключены)
|
||
|
||
| jar | классов | major | `StackMapTable` | тип |
|
||
|---|---|---|---|---|
|
||
| `LoReport/build/libs/lorep-1.1.0.jar` | 17 | 65 | 15 | Spigot-плагин, **быстрый smoke** |
|
||
| `hillsphere/neoforge/build/libs/hillsphere-neoforge-1.21.1-0.1.0.jar` | 40 | 65 | 22 | NeoForge-мод, Java 21 |
|
||
| `LoParkour/build/libs/LoParkour-1.4.0.jar` | 274 | 65 | 204 | Spigot-плагин, средний |
|
||
| `LoChat/build/libs/LoChat-1.5.5-1.20.1.jar` | 1 080 | 51/52/65 | 591 | **микс версий** — стресс |
|
||
| `oc2r/build/libs/oc2r-1.21.1-neoforge-0.1.1+78704d26.jar` | 1 278 | 65 | 659 | NeoForge, 28 MB (shaded) |
|
||
| `LoVisual/mod/build/libs/lovisual-0.1.1.jar` | 4 082 | 47–69 | 2 251 | Fabric, **включает major 47/49 без кадров** |
|
||
|
||
- [ ] скопировать в fixtures-каталог репозитория (licenses permitting)
|
||
- [ ] прогон `load → pipeline → save → verify` на `lorep` и `hillsphere`
|
||
- [ ] `java -Xverify:all` на каждом; для Fabric/NeoForge — только `verify_class`
|
||
(запуск требует лаунчеров)
|
||
|
||
---
|
||
|
||
## Порядок (что делать следующим)
|
||
|
||
0. ~~Ремонт структуры + тулчейн~~ — готов (08.10.2026, оценка **55/100**).
|
||
Гейт падал на `parse/code.rs`/`insns.rs` — разбиты; 8 латентных багов
|
||
orphan-кода исправлены; `stable` 1.97→**1.99**, edition→**2024**,
|
||
`toml`→**1.1.7**; MSRV 1.97. `./check.sh` — OK.
|
||
1. ~~`noxis-jar`~~ — готов.
|
||
2. ~~Пасс `debug`~~ — готов (P0/A2/B4).
|
||
3. ~~Пасс `resources`~~ — готов (P0/A4).
|
||
4. ~~Spike `ristretto_classfile`~~ — backend выбран, ограничение найдено.
|
||
5. ~~**`format::parse`/`format::write`** (P1)~~ — готов (08.10.2026):
|
||
классовый уровень поверх ристретто, пул с нуля, `StackMapTable` туда-обратно
|
||
(байтовые дельты ↔ индексные), `verify()` backend'а на выходе writer'а,
|
||
`tests/roundtrip.rs` (3 теста). Снимает блокер writer'а и генератора
|
||
декодера, то есть и `strings`, и `flow`.
|
||
Известные ограничения (P2): `rename` не переписывает ссылки внутри
|
||
`BootstrapMethods` (имена лочатся в `keep`, классы с BSM переименовывать
|
||
методы не будут — безопасно, но менее мутно); `Raw`-атрибуты со ссылками
|
||
пула (аннотации, ...) несут старые индексы — моделировать явно
|
||
(`Record` + `LocalVariableTypeTable` уже смоделированы 08.10.2026)
|
||
или переходить на пул-сохраняющий writer.
|
||
6. ~~**Кадры `StackMapTable`** (P1)~~ — готов (08.10.2026): свой dataflow
|
||
(`format/frames/{mod,flow,emit,tests,xfer/{mod,stack,calls},merge/{mod,descs}}`,
|
||
`Hierarchy`-трейт для LUB); приёмка — `java -Xverify:all` на фикстурах
|
||
(`tests/data` 4 класса, `tests/frames.rs`): снести → посчитать →
|
||
round-trip → `java` зелёный для JDK-классов.
|
||
7. ~~**Пассы `strings`, `constants`, `noise`**~~ — готовы (08.10.2026):
|
||
строки с декодером v49 (сквозной тест исполнением), константы int/long
|
||
+ opaque, шум с вплетанием; все в `standard_pipeline`.
|
||
Ограничения: opaque константные (бьются свёрткой); `float`/`double`
|
||
не шифруются; junk-аннотации пропущены; `rename` не правит ссылки в BSM.
|
||
8. **`noxis-verify`** — метрики, красные паттерны, `java -Xverify:all`.
|
||
9. **`noxis` (CLI)** — последним: он собирает всё вместе.
|
||
|
||
После каждого пункта — `./scripts/check.sh`.
|
||
|
||
---
|
||
|
||
## Долг структуры (на грани лимита, разбить превентивно)
|
||
|
||
- `noxis-passes/src/debug.rs` — 249/250
|
||
- `noxis-analysis/src/entrypoints.rs` — 244/250
|
||
- `docs/stack.md` — 242/250
|
||
- `noxis-passes/src/rename/{mod,assign}` — 232–237/250
|
||
- `noxis-passes/src/namegen/mod.rs` — 215/250
|
||
- `noxis-runtime/src/decoder/{xor,xtea}.rs` — 243–245/250
|