ревью: включить review-code стадией 1 и убрать три избыточности
По итогам разбора собственной работы. jellybit-review-code не запускался нигде: charter обещал «проход профиля quick», а quick состоял из стадий 0, 1, 5. Проход, который нельзя запустить, нельзя и откалибровать. Теперь он стадия 1 рядом с review-specs — оба applicative, у обоих критерий записан, различаются источники (дельта-спека и конвенции). review-context.sh больше не выгружает go doc -short по всему модулю: это было 264 строки из 458 при том, что граф зависимостей — единственное, чего агент не восстановит сам, — занимает 21. Публичную поверхность он вытянет go doc по нужному месту. Из calibration.md убрана секция дополнительных метрик: precision, корреляция и стоимость прогона вручную никем не считаются, а набор показателей, который не собирают, изображает измеряемость вместо того, чтобы её давать. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -51,18 +51,12 @@
|
||||
| `jellybit-review-ops` | деградация зависимости | убрать обработку недоступности qBittorrent в фоновом цикле |
|
||||
| `jellybit-review-triage` | шум | подать 20 находок, из них 15 вкусовщина и 3 дубля — проверить потолок и дедуп |
|
||||
|
||||
## Дополнительные метрики
|
||||
|
||||
Собираются попутно, в журнале прогонов (свободной формой, там же где вердикты):
|
||||
|
||||
- **precision** — доля находок, отвергнутых при ревью. Если отвергается меньше
|
||||
трети — хорошо; если больше — триаж съедает больше, чем экономит проход.
|
||||
- **корреляция между проходами** — стабильно одинаковые находки у двух проходов
|
||||
означают, что один лишний. Смотрится по полю `Найдено проходом` в
|
||||
триажированных отчётах.
|
||||
- **стоимость прогона** — токены и время. Профиль `deep` дороже `standard`
|
||||
примерно на порядок; если разница в найденном не видна, состав профиля
|
||||
пересматривается.
|
||||
Метрик сверх этого не заводим. Precision, корреляция между проходами, стоимость
|
||||
прогона в токенах — всё это красиво звучит и никем не считается вручную; набор
|
||||
показателей, который не собирают, создаёт впечатление измеряемости и тем вреден.
|
||||
Работает ровно один механизм: инъекция дефекта и вердикт. Если корреляция двух
|
||||
проходов действительно бросается в глаза — это видно по полю `Найдено проходом`
|
||||
в триажированных отчётах и без отдельной метрики.
|
||||
|
||||
## Когда калибровать
|
||||
|
||||
|
||||
Reference in New Issue
Block a user