obfuskator/todo.md
loki5512344 87b7663873
docs: sync status with code, add AI-resistance research, restyle README
Documentation had drifted from the actual implementation: the noxis
(CLI) and noxis-verify crates were fully built and tested but every
doc called them "not started". Verified against the code (build +
test run) and corrected status across README.md, todo.md,
architecture.md, techniques.md and learnings/{lessons,priorities}.md.

Also:
- restyled README.md (badges, no em dashes, usage examples, dropped
  the redundant "Принципы" section already covered elsewhere)
- added docs/learnings/ai-resistance.md: a sourced writeup of what
  actually works against LLM-driven reverse engineering (Elastic
  Security Labs' Opus 4.6 vs Tigress study, the Acoda paper) and what
  of it applies to noxis, plus concrete todo.md §7 items
- noxis-structure-check: the 250-line/4-file gate was scanning
  docs/**, which fought against writing documentation freely; it now
  only scans crates/*/{src,tests,benches} and only counts .rs files
2026-10-08 22:34:00 +02:00

22 KiB
Raw Blame History

todo.md — план работ noxis

Обновляется по мере выполнения. Текущее состояние кодовой базы — в docs/architecture.md (раздел «Статус»).

Обозначения: [x] готово и проверено, [~] частично, [ ] не начато, [!] заблокировано другим пунктом.


0. Каркас и правила — готово

  • Workspace: Cargo.toml, lints (deny(unsafe_code)), release-профиль
  • Крейты: noxis-classfile, noxis-core, noxis-analysis, noxis-passes, noxis-runtime, noxis-jar, noxis-structure-check
  • noxis-structure-check: 250 строк / 4 .rs-файла, вызывается из build.rs каждого крейта, сканирует только src//tests/benches этого крейта; docs/ и остальная документация вне гейта
  • cargo:rerun-if-changed на проверяемые деревья (гейт не реагирует на правки вне src/tests/benches)
  • scripts/check.sh — check → fmt --check → clippy -D warnings → test
  • Документация: docs/README, architecture, techniques, stack, learnings/{lessons,reference,priorities}
  • Гейт проверяет и crates/*/tests, crates/*/benches (правило нельзя обойти выносом кода в тесты)
  • Лицензия: LICENSE (MIT), Cargo.toml → license = "MIT", NOTICE.md — third-party (ristretto_classfile)

1. Данные и модель — готово

  • IR: Program → ClassFile → Code → Insn, метки вместо смещений
  • Attribute::Raw — round-trip непонятных атрибутов
  • Builder + writer (без frames), frames::compute_frames — заглушка P1
  • Конфиг: Profile, RenameConfig, StringsConfig, DebugConfig, NoiseConfig, FlowConfig; загрузка из TOML
  • Детерминированный PRNG: xoshiro256++ + splitmix64 + доменное разделение по FNV-1a
  • Маппинги классов/полей/методов + JSON-отчёт Report/PassReport
  • Контракт Pass + Context::rng(domain)

2. Анализ — готово

  • hierarchy: слои наследования, check::virtual_safe
  • entrypoints: main, <clinit>, ServiceLoader, jar:file из manifest
  • keep: reflection по строкам (Class.forName, getMethod, …), fixed-члены (serialVersionUID, access_widened, JNI/native), поддержка format::compute_frames (stackmap), сериализация, @Override + getMethod для стабов, record-аксессоры, enum-константы (values/valueOf/$VALUES)
  • Детект класса из дескриптора (Lpkg/C; + dotted + slash)

3. Пассы

3.1 Переименование — готово

  • namegen: алфавиты, builtin/english/cyrillic-стили, счётчики, запрет одинаковых имён в scope, $ только если включено
  • rename::assign: классы в пакеты, private/static/final → Safe, virtual → семейства, widening по keep::widen + policy
  • rename::rewrite: дескрипторы, LDC-классы, вызовы, поля, exception table, Signature/Exceptions/InnerClasses/MethodParameters
  • standard_pipeline() — каркас конвейера
  • Тесты: round-trip классов, constant_value не тронут, ACC_BRIDGE, package-info, module-info

3.2 Строки — готово

  • noxis-runtime::scheme: XorSplitmix + XteaCtr, salt→ключ, nonce→stream, FNV-1a MAC, roundtrip/tamper-тесты
  • noxis-runtime::decoder: ABI d(Ljava/lang/String;I)Ljava/lang/String;
  • пасс strings (passes/strings/{mod,crypt,tests}): замена Const::String → cipher+salt+invokestatic, ротация схем по salt % n (salt всегда неотрицателен), split на 1–3 чанка + String.concat
  • генератор класса-декодера (runtime/decoder/{mod,kdf,xor,xtea}): v49 без StackMapTable, KDF через FNV+ByteBuffer, мастер как k1^k2, обе схемы побайтово зеркалят Rust
  • вывод мастер-секрета в рантайме (B2): части в ldc2_w, сборка в декодере
  • приёмка: runtime/tests/exec.rs — шифруем в Rust, расшифровываем настоящим java (6 строк × 2 схемы, побайтовое сравнение stdout)

3.3 Константы — готово (int/long)

  • пасс constants (passes/constants/{mod,forms,tests}): x^k, a+b, сдвиг; ConstantsConfig{schemes, max_predicates, skip} (секция TOML)
  • opaque-предикаты: (C*C+C)&1 == 0 + мёртвая ветвь из nop (константные — честно слабее против свёртки, см. ограничения)
  • отдельные схемы для int/long; float/double — не тронуты

3.4 Контрольный поток — кадры готовы, схемы не начаты

  • spike ristretto_classfile 0.34 — backend выбран и подтверждён (tests/spike_ristretto.rs: сборка/verify/round-trip/запись кадров)
  • spike по генерации кадров (tests/spike_frames.rs): inference работает, но кадры наружу не отдаются — inference/diagnostics/frame объявлены pub(crate), строгий режим возвращает Err(VerifyError)
  • решение: кадры считаем сами на своём IR; вендор inference отвергнут (14 crate::-ссылок, весь verifiers/bytecode/ ≈ 9 700 строк, весь крейт 61 193 строки) — обоснование в docs/stack.md §3
  • реализация format::parse / format::write поверх ристретто (parse/{class,attrs}, write/{mod,pool,attrs,code/{mod,insns,ops,frames}}; пул строится заново детерминированным обходом; tests/roundtrip.rs: минимальный класс, ветвления+handler+кадры, bootstrap — все green)
  • SlotKind в Insn::Load/Store (тип слота терялся при parse — writer не мог восстановить aload vs iload); найдены пропущенные laload/lastore (падали с «неизвестная инструкция»)
  • Attribute::{BootstrapMethods, EnclosingMethod, MethodParameters, ConstantValue} — ссылки пула переживают пересборку; keep лочит BSM-методы от переименования; debug режет новые варианты
  • compute_frames вместо заглушки (границы блоков, worklist, merge/LUB через Hierarchy-трейт, эмиссия StackMapFrame) (format/frames/{mod,flow,emit,tests,xfer/{mod,stack,calls},merge/{mod,descs}})
  • приёмка: java -Xverify:all на фикстурах (tests/data 4 класса + tests/frames.rs: снести кадры → посчитать → round-trip → java для JDK-классов; verify_class(Strict) для приёмки НЕ годится — backend хранит кадры в индексах, а его верификатор ждёт байты)
  • закрыты дыры: I2d/I2D, Record + LocalVariableTypeTable как явные варианты (Raw со старыми индексами ломал чтение); кадры Append — на гранулярности переменных ([Top, Long] отвергает JVM)
  • 4 схемы: state-spread, computed-switch, butterfly, exception-goto
  • ротация схем между методами + мешанина внутри метода
  • только после: включение в standard_pipeline

3.5 Шум — готово (без аннотаций)

  • junk-классы + weave_reachable (passes/noise/{mod,weave}): shadow/decoyN с run()V, вызов вшит перед терминалом живого метода
  • бюджет раздувания (junk_ratio × классы; по умолчанию 0 — выключено)
  • junk-аннотации: пропущены сознательно (сырые атрибуты не несут свежие индексы пула — нужно моделирование аннотаций)

3.6 Отладочная информация — готово

  • DebugInfoPass: strip LineNumberTable, LocalVariableTable, Signature, InnerClasses, EnclosingMethod, MethodParameters
  • spoof_source_file — ложное, но правдоподобное имя (B4)
  • детерминированность подмены от мастер-сида
  • fake_line_numbers — ложные номера строк (не только SourceFile)
  • strip_source_file — полное удаление вместо подмены

3.7 Ресурсы — частично

  • крейт noxis-jar: чтение/запись ZIP (порядок, deflate, дубликаты)
  • strip_signatures — *.SF/*.RSA/*.DSA/*.EC, META-INF/SIG-*
  • load/save — архив ↔ Program (классы через парсер, остальное ресурсы)
  • пасс resources: патч текстовых ресурсов по маппингу (boundary-замена), META-INF/services/*, 9 тестов, в standard_pipeline
  • fabric.mod.json, *.mixins.json, refmap, access widener

4. Верификация — готово (без декомпилята и ristretto_vm)

  • крейт noxis-verify: красный список паттернов RED_PATTERNS (leaks.rs, хранится в репо, тест red_patterns_all_compile)
  • утечки имён: collect_names/find_leaks — сверка идентификаторов программы с учётом keep-списка
  • scan_secrets — те же red-паттерны прогоняются по строкам обфусцированного Program (CLI-команда patterns --input)
  • java -Xverify:all subprocess (java.rs: verify_class_bytes, verify_jar; Verified/Failed/Skipped, когда java недоступна)
  • метрики (metrics.rs): program_stats — классы/методы/поля/ инструкции/строки/ресурсы
  • бюджет размера: inflation_ratio + check_inflation(max_ratio)
  • стабильность между сборками: mappings_changed (маппинги обязаны отличаться между прогонами с разным seed)
  • доля распознанных структур в декомпиляте (JADX/CFR) — не начато
  • бюджет времени исполнения (только размер реализован)
  • противник-скрипт (свёртка констант, regex) как тест — см. §6
  • P3: опция ristretto_vm (встраиваемый JVM) вместо системного java

5. CLI — готово (без пасса flow)

  • крейт noxis: obfuscate, analyze, patterns (cmd/{obfuscate,analyze,patterns}.rs)
  • флаги конфига (--config) + --seed (детерминированность по умолчанию, без флага — seed из конфига)
  • честные off-ключи: --no-rename, --no-resources, --no-strings, --no-constants, --no-noise, --no-debug-info; --no-flow падает с понятной ошибкой («пасс ещё не реализован»), а не молчит
  • JSON-отчёт (out.report.json) + текстовые маппинги (out.mapping.txt) рядом с выходным jar или по --report
  • analyze: классы, ресурсы, locked-классы, entrypoint'ы, keep-правила
  • patterns: список red-паттернов (--list) или прогон по jar (--input, через scan_secrets)
  • end-to-end тест (obfuscate_end_to_end): jar → обфускация → файлы выхода существуют

6. Тесты и данные

  • regression-кейсы из референса: smoke-safe, smoke-inheritance, smoke-flow, smoke-fields, smoke-aes
  • встроить .class-фикстуры в noxis-classfile/tests/data/
  • противник-скрипт (свёртка констант, regex) как тест в noxis-verify

6.1 Fixtures — jar из /storage/project/jvm/ (найдены, не подключены)

jar классов major StackMapTable тип
LoReport/build/libs/lorep-1.1.0.jar 17 65 15 Spigot-плагин, быстрый smoke
hillsphere/neoforge/build/libs/hillsphere-neoforge-1.21.1-0.1.0.jar 40 65 22 NeoForge-мод, Java 21
LoParkour/build/libs/LoParkour-1.4.0.jar 274 65 204 Spigot-плагин, средний
LoChat/build/libs/LoChat-1.5.5-1.20.1.jar 1 080 51/52/65 591 микс версий — стресс
oc2r/build/libs/oc2r-1.21.1-neoforge-0.1.1+78704d26.jar 1 278 65 659 NeoForge, 28 MB (shaded)
LoVisual/mod/build/libs/lovisual-0.1.1.jar 4 082 47–69 2 251 Fabric, включает major 47/49 без кадров
  • скопировать в fixtures-каталог репозитория (licenses permitting)
  • прогон load → pipeline → save → verify на lorep и hillsphere
  • java -Xverify:all на каждом; для Fabric/NeoForge — только verify_class (запуск требует лаунчеров)

7. Устойчивость к ИИ-анализу — исследование, не блокер

Разбор источников (Acoda, ICSE 2026; Elastic Security Labs, апрель 2026) — docs/learnings/ai-resistance.md. Рычаг один: цена агента на разбор должна расти быстрее, чем цена нашей сборки. Эффект меряется прогоном конкретного агента, а не верой в методичку — критерий тот же, что и для остальных техник (§4).

  • Вложенные слои шифрования строк (аналог Matryoshka Wall из Elastic): StringsConfig получает глубину N, декодер разворачивает N слоёв вместо одного; цена агента растёт почти линейно с N, цена сборки — нет
  • Больше decoy-точек сборки ключа (аналог Dispatch Maze): сейчас master = k1^k2 собирается в одном месте декодера (stack.md §4); поднять число частей и раскидать их сборку по случайным junk-методам из Noise
  • MBA вместо простых тождеств в Constants: по данным Elastic, Flatten + MBA на Tigress бьёт по модели сильнее, чем один Flatten — укладывается в текущий пасс без архитектурных изменений
  • P4, после схем flow (§3.4): виртуализация байткода (table interpretation) — самая мощная техника по академическому обзору, но ломает допущение noxis-verify (java -Xverify:all проверяет обычный байткод с StackMapTable, не тело интерпретатора)
  • [!] Сознательно не делаем: имитацию вредоносных паттернов, prompt injection в строках, EOS-токены (методы Acoda, завязанные на natural-language канал и чат-интерфейс LLM, а не на байткод) — риск ложного срабатывания антивируса/EDR на легитимном продукте, противоречит README.md → «Ответственное использование»

Порядок (что делать следующим)

  1. Ремонт структуры + тулчейн — готов (08.10.2026, оценка 55/100). Гейт падал на parse/code.rs/insns.rs — разбиты; 8 латентных багов orphan-кода исправлены; stable 1.97→1.99, edition→2024, toml→1.1.7; MSRV 1.97. ./check.sh — OK.
  2. noxis-jar — готов.
  3. Пасс debug — готов (P0/A2/B4).
  4. Пасс resources — готов (P0/A4).
  5. Spike ristretto_classfile — backend выбран, ограничение найдено.
  6. format::parse/format::write (P1) — готов (08.10.2026): классовый уровень поверх ристретто, пул с нуля, StackMapTable туда-обратно (байтовые дельты ↔ индексные), verify() backend'а на выходе writer'а, tests/roundtrip.rs (3 теста). Снимает блокер writer'а и генератора декодера, то есть и strings, и flow. Известные ограничения (P2): rename не переписывает ссылки внутри BootstrapMethods (имена лочатся в keep, классы с BSM переименовывать методы не будут — безопасно, но менее мутно); Raw-атрибуты со ссылками пула (аннотации, ...) несут старые индексы — моделировать явно (Record + LocalVariableTypeTable уже смоделированы 08.10.2026) или переходить на пул-сохраняющий writer.
  7. Кадры StackMapTable (P1) — готов (08.10.2026): свой dataflow (format/frames/{mod,flow,emit,tests,xfer/{mod,stack,calls},merge/{mod,descs}}, Hierarchy-трейт для LUB); приёмка — java -Xverify:all на фикстурах (tests/data 4 класса, tests/frames.rs): снести → посчитать → round-trip → java зелёный для JDK-классов.
  8. Пассы strings, constants, noise — готовы (08.10.2026): строки с декодером v49 (сквозной тест исполнением), константы int/long
    • opaque, шум с вплетанием; все в standard_pipeline. Ограничения: opaque константные (бьются свёрткой); float/double не шифруются; junk-аннотации пропущены; rename не правит ссылки в BSM.
  9. noxis-verify — готов: красные паттерны (leaks.rs), java -Xverify:all (java.rs), метрики/бюджет размера/стабильность маппингов (metrics.rs). Не хватает: доли распознанных структур в декомпиляте, бюджета времени, ristretto_vm (P3).
  10. noxis (CLI) — готов: obfuscate/analyze/patterns, конфиг + seed, честные off-флаги, JSON-отчёт + маппинги, end-to-end тест. Единственный честный блокер — --no-flow падает с ошибкой, потому что пасса ещё нет.
  11. Схемы flow (§3.4) — единственная крупная техника без реализации: state-spread, computed-switch, butterfly, exception-goto + ротация между методами. Кадры для них уже считаются (п.6).
  12. Fixtures и regression (§6) — подключить jar из /storage/project/jvm/, прогнать load → pipeline → save → verify, противник-скрипт как тест в noxis-verify.

После каждого пункта — ./scripts/check.sh.


Долг структуры (на грани лимита, разбить превентивно)

Гейт — только про .rs (см. docs/README.md), docs/stack.md из списка убран: лимит строк на markdown больше не действует.

  • noxis-passes/src/debug.rs — 249/250
  • noxis-analysis/src/entrypoints.rs — 244/250
  • noxis-passes/src/rename/{mod,assign} — 232–237/250
  • noxis-passes/src/namegen/mod.rs — 215/250
  • noxis-runtime/src/decoder/{xor,xtea}.rs — 243–245/250