Приём: гард дедуп-дозаписи хешей (F1) и апгрейд catched-magnet до torrent (F6)

Два дефекта дедуп-веток приёма (ревью Fable 2026-07-08), оба про инвариант
«≤1 активная загрузка на infohash» и сохранность источника.

F1: дедуп-ветка CreateDownloadIfNoActive дописывала все хеши входящего
источника в найденную активную задачу без пер-хеш гарда владения (в отличие
от AddInfohashes). Гибрид {v1,v2}, дедупнувшись на задачу B (владелец v2),
крал v1 у активной A → две активные владели v1. Теперь дозапись под тем же
гардом: хеш, которым владеет другая активная задача, не дописывается.

F6: при дедупе .torrent-байт на пойманную magnet-задачу (catched) байты
выбрасывались, source_type оставался magnet → worker добавлял по magnet-URL →
вечный metaDL → failed (magnet закрытого трекера без DHT метаданные не
докачает). Новый guarded-метод UpgradeCatchedMagnetToTorrent атомарно
сохраняет байты и меняет source_type magnet→torrent, но только пока задача в
catched (worker источник ещё не отдал). Ingest зовёт апгрейд на обоих
дедуп-путях. Это целевое исключение из правила спеки «при дедупе байты не
сохраняем» — оформлено MODIFIED-дельтой ingest.

Схема БД не меняется (download_torrent и source_type уже есть).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
av
2026-07-08 17:18:28 +03:00
co-authored by Claude Opus 4.8
parent b1bca98738
commit 4475fbd548
11 changed files with 605 additions and 13 deletions
+62 -1
View File
@@ -272,8 +272,18 @@ func (s *Store) CreateDownloadIfNoActive(ctx context.Context, d *Download, hashe
// Дедуп нашёл активного владельца по одному из хешей — остальные хеши
// norm принадлежат тому же торренту (гибридный magnet): дописываем
// недостающие, иначе второй хеш молча теряется и последующий приём по
// нему создал бы вторую активную задачу.
// нему создал бы вторую активную задачу. Дозапись — под тем же пер-хеш
// гардом владения, что и AddInfohashes: хеш, которым владеет ДРУГАЯ
// активная задача (split-identity/крафт-магнет), не дописываем, иначе
// две активные владели бы одним инфохэшем (нарушение инварианта).
for _, h := range norm {
owner, err := findActiveByInfohash(ctx, tx, []string{h}, existing.ID)
if err != nil {
return nil, fmt.Errorf("create download: %w", err)
}
if owner != nil {
continue // чужой активный владелец — не крадём хеш
}
if _, err := tx.ExecContext(ctx,
`INSERT OR IGNORE INTO download_infohash (download_id, infohash, kind, created_at) VALUES (?, ?, ?, ?)`,
existing.ID, h, HashKind(h), now); err != nil {
@@ -335,6 +345,57 @@ func (s *Store) GetTorrentData(ctx context.Context, downloadID string) ([]byte,
return data, nil
}
// UpgradeCatchedMagnetToTorrent апгрейдит пойманную magnet-задачу до torrent
// при дедупе входящих байтов `.torrent`: в одной write-транзакции сохраняет
// байты и меняет source_type magnet→torrent, но ТОЛЬКО пока задача в `catched`
// (воркер источник ещё не отдал в qBittorrent) и её source_type всё ещё
// `magnet`. Это целевое исключение из правила «при дедупе байты не сохраняем»:
// magnet на закрытом трекере без DHT метаданные не докачает и застрянет в
// metaDL, а поданный пользователем `.torrent` их несёт. Возвращает true, если
// апгрейд применён; (false, nil) — если задача не подходит (уже добавлена,
// отменена или не magnet) либо байты пусты (защитный no-op). Гард через
// RowsAffected UPDATE — та же ре-валидация состояния, что у PromoteCatched.
func (s *Store) UpgradeCatchedMagnetToTorrent(ctx context.Context, downloadID string, torrentBlob []byte) (bool, error) {
if len(torrentBlob) == 0 {
return false, nil
}
tx, err := s.DB.BeginTxx(ctx, nil)
if err != nil {
return false, fmt.Errorf("upgrade %s to torrent: begin tx: %w", downloadID, err)
}
defer func() { _ = tx.Rollback() }()
res, err := tx.ExecContext(ctx, `
UPDATE download
SET source_type = ?, updated_at = ?
WHERE id = ? AND source_type = ? AND state = ?`,
string(SourceTorrent), FormatTime(Now()), downloadID, string(SourceMagnet), string(StateCatched))
if err != nil {
return false, fmt.Errorf("upgrade %s to torrent: %w", downloadID, err)
}
n, err := res.RowsAffected()
if err != nil {
return false, fmt.Errorf("upgrade %s to torrent: %w", downloadID, err)
}
if n == 0 {
// Не catched-magnet (уже добавлена/отменена/torrent) — апгрейд не нужен.
if err := tx.Commit(); err != nil {
return false, fmt.Errorf("upgrade %s to torrent: commit: %w", downloadID, err)
}
return false, nil
}
// У magnet-задачи блоба не было; OR REPLACE — страховка идемпотентности.
if _, err := tx.ExecContext(ctx,
`INSERT OR REPLACE INTO download_torrent (download_id, data) VALUES (?, ?)`,
downloadID, torrentBlob); err != nil {
return false, fmt.Errorf("upgrade %s to torrent: store blob: %w", downloadID, err)
}
if err := tx.Commit(); err != nil {
return false, fmt.Errorf("upgrade %s to torrent: commit: %w", downloadID, err)
}
return true, nil
}
// ActivateIfNoOtherActive атомарно возвращает загрузку в активное состояние
// (retry/восстановление сверкой/relink): в одной write-транзакции проверяет,
// что никакая ДРУГАЯ активная загрузка не владеет любым из хешей этой, и