av
3bce73fc34
- три плагина слились в один `av-dev`: служебные `docs/.docs.json` и `tasks/.tasks.json` заменены на `.av-dev.toml` в корне, в гейте переехали пути трёх скриптов, вызовы скиллов переименованы по всему репозиторию - тип задачи `goal` и `ROADMAP.md` упразднены: семь целей закрыты с причинами, теги сняты, объявлена стадия `support` - метка `small`/`medium`/`large` снята из процесса — вместо «Триггеров метки» в review.md подраздел «Когда звать глубокое ревью»; следом разобран урожай doc-consistency: девять фактов сведены к одному дому
234 lines
20 KiB
Markdown
234 lines
20 KiB
Markdown
# Схема хранилища
|
||
|
||
Актуальная схема SQLite: таблицы, поля и связи. Это **живой** документ — его
|
||
поддерживаем в соответствии с миграциями.
|
||
|
||
> **Поддержка вместе с миграциями.** Источник истины по схеме —
|
||
> `internal/store/migrations/*.sql` (goose). При **каждой** новой миграции,
|
||
> меняющей структуру (таблица/столбец/индекс/связь), обновляем эту диаграмму
|
||
> в том же change. Расхождение схемы с миграциями считаем багом документации;
|
||
> его же ловит `docs.py check` в гейте.
|
||
>
|
||
> Состояние на: миграции `0001_init`, `0002_recognition_plan`,
|
||
> `0003_source_miss_count`, `0004_candidate_url`, `0005_display_name`,
|
||
> `0006_ulid_identity` (Go-миграция: ULID-идентификаторы, `download_infohash`),
|
||
> `0007_file_link_size`, `0008_rfc3339_time` (метки времени → RFC 3339 UTC,
|
||
> `DEFAULT` убран), `0009_download_torrent` (байты `.torrent`-файла),
|
||
> `0010_retried_at`, `0011_parsed_context` (структура имени из контекста, JSON),
|
||
> `0012_recognition_source_files` (снимок списка файлов раздачи рядом с планом).
|
||
|
||
Назначение таблиц и роль компонентов — [architecture.md](architecture.md).
|
||
Значения `state` и легальные переходы — нормативно в
|
||
[download-tracking](../openspec/specs/download-tracking/spec.md) и
|
||
[state-reconciliation](../openspec/specs/state-reconciliation/spec.md).
|
||
Первичные ключи — ULID (TEXT, lowercase), генерятся приложением
|
||
(`internal/ident`) — см. [конвенцию](conventions/database.md). Метки времени
|
||
(`created_at`/`updated_at`) — TEXT в RFC 3339, UTC (суффикс `Z`); пишет
|
||
приложение (`store.Now`/`FormatTime`), без `DEFAULT` на колонках.
|
||
|
||
## ER-диаграмма
|
||
|
||
```mermaid
|
||
erDiagram
|
||
download ||--o{ download_infohash : "инфохэши (v1/v2)"
|
||
download ||--o| download_torrent : "байты .torrent (1:0..1)"
|
||
download ||--o{ recognition : "распознавания"
|
||
download ||--o{ hint : "подсказки"
|
||
download ||--o{ override : "ручные правки"
|
||
download ||--o{ file_link : "хардлинки"
|
||
recognition ||--o{ metadata_candidate : "кандидаты базы"
|
||
|
||
download {
|
||
TEXT id PK "ULID (lowercase), генерится приложением"
|
||
TEXT source_type "NOT NULL; magnet|torrent|url"
|
||
TEXT source_ref "NOT NULL; magnet/url/путь"
|
||
TEXT display_name "NOT NULL DEFAULT ''; имя раздачи (rename qBittorrent), заголовок в UI (миграция 0005)"
|
||
TEXT context "NOT NULL DEFAULT ''"
|
||
TEXT parsed_context "NOT NULL DEFAULT ''; структура имени из контекста (naming, JSON), базовый слой display_name (миграция 0011)"
|
||
TEXT state "NOT NULL; активность выводится только из state"
|
||
TEXT error_code "nullable"
|
||
TEXT error_msg "nullable"
|
||
INTEGER source_miss_count "NOT NULL DEFAULT 0; дебаунс пропажи источника (миграция 0003)"
|
||
TEXT source_added_at "nullable; время добавления в qBittorrent (added_on), базис сортировки (миграция 0005)"
|
||
TEXT retried_at "nullable; время последнего ручного retry (RFC 3339 UTC Z), сброс базиса таймаутов (миграция 0010)"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
TEXT updated_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
download_infohash {
|
||
TEXT download_id PK_FK "NOT NULL; ON DELETE CASCADE; PK(infohash, download_id)"
|
||
TEXT infohash PK "NOT NULL; lowercase hex (40 — v1, 64 — v2)"
|
||
TEXT kind "NOT NULL; v1|v2"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
download_torrent {
|
||
TEXT download_id PK_FK "NOT NULL; ON DELETE CASCADE; байты source_type=torrent"
|
||
BLOB data "NOT NULL; исходные байты .torrent для добавления файлом (миграция 0009)"
|
||
}
|
||
|
||
recognition {
|
||
TEXT id PK "ULID"
|
||
TEXT download_id FK "NOT NULL; ON DELETE CASCADE"
|
||
INTEGER attempt_no "NOT NULL DEFAULT 1"
|
||
INTEGER is_current "NOT NULL DEFAULT 1; 0/1"
|
||
TEXT media_type "nullable; movie|series"
|
||
TEXT title "nullable"
|
||
TEXT original_title "nullable"
|
||
INTEGER year "nullable"
|
||
TEXT provider "nullable; tmdb|tvdb|tvmaze|none"
|
||
TEXT provider_id "nullable"
|
||
REAL confidence "nullable"
|
||
TEXT reasons "NOT NULL DEFAULT '[]'; JSON: причины ухода в review + информационные заметки (сводка покрытия), не отменяющие авто"
|
||
TEXT raw_llm "nullable; сырой ответ LLM"
|
||
TEXT plan "nullable; JSON recognize.Plan (миграция 0002)"
|
||
TEXT source_files "nullable; JSON [{path,size}] — снимок файлов раздачи в порядке нумерации промпта (миграция 0012). NULL — запись старше миграции: перечень неполон, UI говорит об этом прямо"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
hint {
|
||
TEXT id PK "ULID"
|
||
TEXT download_id FK "NOT NULL; ON DELETE CASCADE"
|
||
TEXT text "NOT NULL"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
override {
|
||
TEXT id PK "ULID"
|
||
TEXT download_id FK "NOT NULL; ON DELETE CASCADE"
|
||
TEXT field "NOT NULL; UNIQUE(download_id, field)"
|
||
TEXT value "NOT NULL"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
metadata_candidate {
|
||
TEXT id PK "ULID"
|
||
TEXT recognition_id FK "NOT NULL; ON DELETE CASCADE"
|
||
TEXT provider "NOT NULL"
|
||
TEXT provider_id "NOT NULL"
|
||
TEXT title "nullable"
|
||
INTEGER year "nullable"
|
||
TEXT url "nullable; ссылка на страницу на сайте провайдера"
|
||
INTEGER chosen "NOT NULL DEFAULT 0; 0/1"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
|
||
file_link {
|
||
TEXT id PK "ULID"
|
||
TEXT download_id FK "NOT NULL; ON DELETE CASCADE"
|
||
TEXT apply_batch_id "NOT NULL; батч для точечного undo"
|
||
TEXT src_path "NOT NULL; исходный файл раздачи"
|
||
TEXT dst_path "NOT NULL; целевой хардлинк"
|
||
TEXT kind "NOT NULL; video|subtitle|..."
|
||
TEXT status "NOT NULL; linked|copied|exists|collision|superseded"
|
||
INTEGER size "NOT NULL DEFAULT 0; размер файла (байт), фолбэк размера раздачи"
|
||
TEXT created_at "NOT NULL; RFC 3339 UTC (Z), пишет приложение"
|
||
}
|
||
```
|
||
|
||
## Связи и кардинальность
|
||
|
||
- `download` 1 — N `download_infohash` / `recognition` / `hint` / `override`
|
||
/ `file_link`; `recognition` 1 — N `metadata_candidate`. Все дочерние — с
|
||
`ON DELETE CASCADE`: удаление загрузки уносит её хеши, распознавания,
|
||
подсказки, правки и ссылки.
|
||
- `download_infohash` — множество хешей одной загрузки (v1/v2 гибридного
|
||
торрента); один и тот же infohash может принадлежать нескольким загрузкам
|
||
во времени (повторный приём после терминального состояния). Инвариант «не
|
||
более одной активной загрузки на infohash» держат guarded-методы store
|
||
(`CreateDownloadIfNoActive`/`ActivateIfNoOtherActive`) в одной
|
||
write-транзакции — на уровне схемы он не выражается (условие на `state`).
|
||
- `download` 1 — 0..1 `download_torrent` — байты исходного `.torrent` (только
|
||
у `source_type=torrent`); нужны воркеру для добавления раздачи файлом и для
|
||
повторного добавления при retry, поэтому живут весь срок строки загрузки.
|
||
- `download` ↔ `file_link` — один источник (раздача) ко многим разложенным
|
||
файлам; внутри строки `file_link` связь `src_path → dst_path` — 1:1. Не
|
||
каждый файл раздачи попадает в `file_link` (только распознанные медиа и
|
||
субтитры); ссылки могут накапливаться несколькими `apply_batch_id`.
|
||
|
||
## Индексы и ограничения
|
||
|
||
- `download`: индекс по `state`.
|
||
- `download_infohash`: PK `(infohash, download_id)` (он же индекс поиска по
|
||
хешу); индекс по `download_id`.
|
||
- `recognition`: индекс по `download_id`.
|
||
- `override`: `UNIQUE(download_id, field)`.
|
||
- `metadata_candidate`: индекс по `recognition_id`.
|
||
- `file_link`: индексы по `download_id` и по `apply_batch_id`.
|
||
|
||
> Enum-поля (`source_type`, `state`, `provider`, `kind`, `status`, флаги
|
||
> `0/1`) на уровне SQLite — обычный `TEXT`/`INTEGER` без `CHECK`; допустимые
|
||
> значения держит код (`internal/store`).
|
||
|
||
## Представление данных
|
||
|
||
Чем физически лежит запись и что происходит при чтении и записи.
|
||
|
||
- **Всё, кроме одного поля, — плоские колонки.** Никакого сжатия, никаких
|
||
внешних файлов: строка читается и пишется целиком обычным запросом.
|
||
- **JSON-строками в TEXT** лежат три поля: `recognition.plan` (канонический
|
||
`recognize.Plan` — файл → роль/сезон/серия), `recognition.reasons` (диагностика
|
||
распознавания: блокирующие причины ухода в review **и** информационные
|
||
заметки вроде сводки покрытия, которые авто-раскладку не отменяют, — само
|
||
решение auto/review из длины списка не выводится) и `download.parsed_context`
|
||
(структура имени из контекста).
|
||
Читаются целиком и разбираются в Go; частичного чтения и обновления поля
|
||
внутри JSON нет, SQL по содержимому этих полей не делается.
|
||
- **`recognition.raw_llm`** — сырой ответ модели как есть, **несжатый**. Это
|
||
самое крупное поле в базе и главный кандидат на рост: у каждой попытки
|
||
распознавания свой ответ, попытки не вытесняются, срока хранения нет
|
||
(задача в беклоге).
|
||
- **`download_torrent.data`** — единственный BLOB: исходные байты `.torrent`
|
||
(обычно десятки КБ, у больших раздач — сотни). Читается целиком при
|
||
добавлении в qBittorrent и при retry.
|
||
- **Истории переходов нет** — хранится только текущий `state`; «как сюда
|
||
попали» восстанавливается по логам (задача в беклоге).
|
||
- **Терминальные загрузки не удаляются**, `file_link` со статусом `superseded`
|
||
тоже остаются — база монотонно растёт по числу обработанных раздач.
|
||
|
||
## Настройки с числовым значением
|
||
|
||
СУБД (`internal/store`, DSN при открытии):
|
||
|
||
| Настройка | Значение | Зачем |
|
||
| --- | --- | --- |
|
||
| `journal_mode` | `WAL` | читатели не блокируют писателя |
|
||
| `busy_timeout` | 5000 мс | ждать снятия блокировки, а не падать сразу `database is locked` |
|
||
| `foreign_keys` | `ON` | `ON DELETE CASCADE` работает только с этим |
|
||
| `_txlock` | `immediate` | явная транзакция открывается как write с самого начала; на этом держатся guarded-методы инварианта «одна активная загрузка на infohash» |
|
||
| Размер пула | по умолчанию `database/sql` | явно не ограничен; писателя SQLite сериализует сама |
|
||
|
||
Времена и пороги, влияющие на объём и частоту работы с базой (значения по
|
||
умолчанию, `config.example.toml` — источник истины по полям):
|
||
|
||
| Параметр | По умолчанию | Что означает |
|
||
| --- | --- | --- |
|
||
| `[worker].poll_interval` | `5s` | частота опроса qBittorrent, а значит и фонового чтения/записи состояния |
|
||
| `[worker].stuck_after` | `1h` | простой раздачи, после которого она считается зависшей |
|
||
| `[worker].magnet_timeout` | `24h` | страховочный предел ожидания метаданных magnet |
|
||
| `[worker].catch_timeout` | `10m` | предел для пойманной задачи, не добавившейся в qBittorrent |
|
||
| `[worker].source_missing_threshold` | `3` тика | дебаунс пропажи источника |
|
||
| `[recognition].auto_confidence_threshold` | `0.85` | порог авто-раскладки (доп. проверка к матчу в базе) |
|
||
| `[recognition].max_files` | `500` файлов | сколько файлов раздачи максимум показывать модели в промпте. Предохранитель от аномальной раздачи, а не рабочее ограничение: 500 путей — порядка 35k токенов промпта, что модель принимает. Усечение уводит задачу в `review` отдельной причиной, а знаменатель покрытия остаётся полным числом файлов |
|
||
| `[recognition].max_tokens` | `8000` токенов | предел длины ответа модели. При индексной адресации файла (`files[].i` вместо копии пути) элемент плана стоит ~14 токенов, так что 500 файлов укладываются с запасом. Не хватило — `finish_reason = length`, и задача уходит в `review` с причиной «ответ модели обрезан», без повторного запроса |
|
||
| `[llm].timeout` / `max_retries` | `120s` / `3` | каждая попытка порождает строку `recognition` с сырым ответом |
|
||
| `[metadata.*].timeout` | `10s` | таймаут запроса к метабазе |
|
||
|
||
Пределы, зашитые константой кода, а не полем конфига:
|
||
|
||
| Константа | Значение | Что означает |
|
||
| --- | --- | --- |
|
||
| `ingest.MaxTorrentSize` | `8 MiB` | предел размера принимаемого `.torrent`; проверяется **до** разбора, поэтому bencode-аллокации на эту величину не масштабируются (см. [research/torrent-bencode-limits.md](research/torrent-bencode-limits.md)) |
|
||
| `httpapi.pollFast` | `5s` | интервал самообновления поверхности с живыми цифрами качания (карточка в `downloading`). Держится вровень с `[worker].poll_interval`: снимок телеметрии обновляется тиком воркера, и опрос чаще возвращает тот же снимок. Меняется `poll_interval` — меняется и эта константа |
|
||
| `httpapi.pollSlow` | `15s` | интервал самообновления прочих наблюдаемых поверхностей: карточек вне `downloading` и страницы `/download/{id}` в любом состоянии. Тик страницы считает предпросмотр раскладки и ходит в ФС, поэтому частота у него ниже |
|
||
| `httpapi.maxBulkDelete` | `20` загрузок | предел размера одной пачки группового удаления. Подтверждение, перечисляющее больше, человек не читает — то есть перестаёт быть подтверждением; плюс один синхронный запрос упирается в столько же последовательных вызовов qBittorrent. Предел называет сама страница выбора; отказ по пределу возвращает выбор с сохранёнными отметками |
|
||
| `httpapi.bulkFailThreshold` | `3` отказа подряд | сколько подряд идущих отказов внешнего сервиса прекращают проход группового удаления. Удаление снимает библиотечные ссылки раньше, чем сносит раздачу: при недоступном qBittorrent каждая единица успевает выполнить необратимый локальный шаг и упасть на внешнем. Счётчик сбрасывается на успехе; конфликт состояния системным отказом не считается |
|
||
| `httpapi.bulkBudget` | `2` минуты | потолок времени на один проход группового удаления. Удаление держит общий замок воркера на всё время обращения к qBittorrent, поэтому медленно, но успешно отвечающий сосед остановил бы фоновую работу целиком, а порог отказов такого не ловит. Проверяется между единицами: начатое удаление не обрывается, иначе оно встанет между снятием ссылок и сносом раздачи |
|
||
| `layout.maxComponentBytes` | `255` байт | предел длины компонента целевого пути (`NAME_MAX` у ext4/xfs/btrfs); меряется в байтах UTF-8. Что происходит при превышении — [file-layout](../openspec/specs/file-layout/spec.md); величину у ядра не выясняем, и на ФС с меньшим пределом остаётся отказ ядра — чинится правкой константы, а не настройкой |
|
||
| `llm.maxResponseBody` | `8 MiB` | предел размера тела ответа LLM-эндпоинта: ответ читается через `io.LimitReader`, а не целиком |
|
||
| `metadata.maxBody` | `4 MiB` | то же для ответов TMDB, TVDB и TVMaze |
|
||
|
||
**Срока хранения нет ни у одной таблицы**, кэша метабаз нет; состояние по каждому
|
||
пробелу и заведённые под них задачи — [architecture.md](architecture.md) →
|
||
«Открытые вопросы».
|