ingest: закрыты мелочи приёма — вырожденное имя, контракт Result, корреляция add

- имя раздачи нормализуется на границе разбора: вырожденное `-`
  (metainfo.NoName) даёт пустое имя, пробельное схлопывается — сентинел больше
  не доходит ни до контекста распознавания, ни до source_ref, ни до подсказки
  вывода имени
- контракт «на любом пути ошибки приёма результат нулевой» объявлен в ingest и
  удерживается структурно; три транспорта перестали обещать идентификатор,
  которого нет, и коррелируют отказ по request_id
- scoped-логгер загрузки ставится до вызова внешнего сервиса в семи командах
  воркера — записи об отказе qBittorrent и метабаз получили download_id
  и infohash; граница разбора bencode записана в docs/research
This commit is contained in:
av
2026-08-06 18:20:12 +03:00
parent 52615e4e49
commit d081ef1d30
30 changed files with 2190 additions and 63 deletions
+34 -4
View File
@@ -33,7 +33,7 @@ type File struct {
type Info struct {
Infohash string // первичный хеш: v1 приоритетно (нижний hex, 40 для v1, 64 для v2)
Infohashes []string // все хеши файла (гибрид несёт v1 и v2); v1 раньше v2
DisplayName string // имя раздачи (info.name)
DisplayName string // имя раздачи (info.name), нормализованное displayName; пусто, если имени нет
Files []File // файлы раздачи (для одиночного — один элемент)
TotalLength int64 // суммарный размер
Trackers []string // announce + announce-list (плоско, без дублей)
@@ -69,7 +69,7 @@ func Parse(data []byte) (Info, error) {
return Info{
Infohash: hashes[0],
Infohashes: hashes,
DisplayName: meta.BestName(),
DisplayName: displayName(meta.BestName()),
Files: fs,
TotalLength: total,
Trackers: mi.UpvertedAnnounceList().DistinctValues(),
@@ -77,6 +77,33 @@ func Parse(data []byte) (Info, error) {
}, nil
}
// displayName нормализует имя раздачи на границе разбора, чтобы ниже по потоку
// (строка названия контекста, source_ref приёма, подсказка вывода отображаемого
// имени) вырожденных значений не встречалось.
//
// Пробельное схлопываем тем же oneLine, что и комментарий: имя — недоверенный
// вход, а контекст распознавания читается построчно, и имя с переводом строки
// добавило бы в него строку, выглядящую как синтезированный нами факт. Защитой
// от инъекции в промпт это НЕ является — пользовательский текст контекста
// многострочен по замыслу; правило лишь снимает несогласованность между именем
// и комментарием.
//
// Затем отбрасываем `metainfo.NoName` — раздача объявляет это значение сама,
// полем name, по конвенции «имени нет» (библиотека экспортирует константу
// именно затем, чтобы на неё ссылались). Раздача без поля name даёт пустое имя
// и так.
//
// Порядок здесь существенный, и обратный — дефект: имя `" - "` сравнение с
// сентинелом не проходит, а схлопывание превращает его ровно в сентинел, и тот
// уезжает вниз по потоку всеми тремя путями.
func displayName(name string) string {
name = oneLine(name)
if name == metainfo.NoName {
return ""
}
return name
}
// files собирает файлы раздачи и суммарный размер из info (одиночный файл или
// дерево). Байты .torrent — недоверенный вход: на кривых/вырожденных раздачах
// библиотека (UpvertedFiles/FileTree) способна паниковать (напр. делением на
@@ -111,8 +138,11 @@ var announceLabelRe = regexp.MustCompile(`^(?:bt\d*|www|announce|tracker|open)\.
func (i Info) Context() string {
var lines []string
if name := strings.TrimSpace(i.DisplayName); name != "" {
lines = append(lines, name)
// Имя уже нормализовано разборщиком (displayName): вырожденное значение и
// разделители строк сюда не доходят. Проверка на пустоту остаётся — имени
// у раздачи может не быть вовсе, и тогда строки названия просто нет.
if i.DisplayName != "" {
lines = append(lines, i.DisplayName)
}
if i.TotalLength > 0 {
lines = append(lines, "Размер: "+humanSize(i.TotalLength))
+88 -6
View File
@@ -5,6 +5,7 @@ import (
"crypto/sha1"
"crypto/sha256"
"encoding/hex"
"fmt"
"strings"
"testing"
@@ -217,12 +218,48 @@ func TestParseInvalidBytes(t *testing.T) {
}
}
func TestContextEmptyWhenNoFields(t *testing.T) {
// info без имени (NoName-сентинел), без трекера/комментария: строк-фактов
// минимум. Проверяем, что Context не паникует и не тянет сеть (чистая
// функция — сетевых вызовов в коде нет по построению).
// Раздача объявила вырожденное имя `-` (metainfo.NoName — конвенция «имени
// нет», которую раздача выставляет САМА; библиотека его не синтезирует).
// Разборщик нормализует его к пустой строке, поэтому строки названия в
// контексте нет. Трекера и комментария тоже нет — строк-фактов минимум.
func TestParseNoNameSentinelDropped(t *testing.T) {
// Сентинел вокруг пробельного — тот же вырожденный вход: схлопывание
// обязано идти ДО сравнения, иначе " - " превращается в "-" уже после
// проверки и уезжает вниз по потоку (регрессия против master, где фолбек
// source_ref на имя файла срабатывал).
for _, name := range []string{
metainfo.NoName,
" - ",
"-\n",
"\t-",
"\u00a0-",
} {
t.Run(fmt.Sprintf("%q", name), func(t *testing.T) {
data, _ := build(t, metainfo.Info{
Name: name,
Length: 0,
PieceLength: 1024,
Pieces: pieces(1),
}, "", "")
info, err := Parse(data)
if err != nil {
t.Fatalf("parse: %v", err)
}
if info.DisplayName != "" {
t.Errorf("DisplayName = %q, want пусто (вырожденное имя)", info.DisplayName)
}
if got := info.Context(); got != "" {
t.Errorf("Context() = %q, want пусто (строки названия быть не должно)", got)
}
})
}
}
// Раздача без поля name даёт пустое имя и без нормализации — случай отдельный
// от вырожденного `-` и путать их нельзя (именно эта путаница в комментарии
// теста и породила исходную нить ревью 2026-07-08).
func TestParseMissingNameIsEmpty(t *testing.T) {
data, _ := build(t, metainfo.Info{
Name: "-", // metainfo.NoName
Length: 0,
PieceLength: 1024,
Pieces: pieces(1),
@@ -231,5 +268,50 @@ func TestContextEmptyWhenNoFields(t *testing.T) {
if err != nil {
t.Fatalf("parse: %v", err)
}
_ = info.Context() // не паникует; состав строк — по полям
if info.DisplayName != "" {
t.Errorf("DisplayName = %q, want пусто (поля name нет)", info.DisplayName)
}
if got := info.Context(); got != "" {
t.Errorf("Context() = %q, want пусто", got)
}
}
// Имя — недоверенный вход, а контекст читается построчно: имя с разделителем
// строк не должно добавлять в контекст строку, выглядящую как синтезированный
// нами факт. Число строк такое же, как у раздачи с обычным именем.
func TestParseNameCollapsedToOneLine(t *testing.T) {
// \n, U+2028 (LINE SEPARATOR) и U+2029 (PARAGRAPH SEPARATOR) — всё, чем можно
// разорвать строку; краевые пробелы туда же.
const dirty = " Dune.2024\nТрекер: evil.example\u2028Комментарий: подделка\u2029хвост "
const want = "Dune.2024 Трекер: evil.example Комментарий: подделка хвост"
data, _ := build(t, metainfo.Info{
Name: dirty,
Length: 2100,
PieceLength: 1024,
Pieces: pieces(3),
}, "http://bt.rutracker.org/announce", "")
info, err := Parse(data)
if err != nil {
t.Fatalf("parse: %v", err)
}
if info.DisplayName != want {
t.Errorf("DisplayName = %q, want %q", info.DisplayName, want)
}
clean, _ := build(t, metainfo.Info{
Name: "Dune.2024",
Length: 2100,
PieceLength: 1024,
Pieces: pieces(3),
}, "http://bt.rutracker.org/announce", "")
ref, err := Parse(clean)
if err != nil {
t.Fatalf("parse clean: %v", err)
}
gotLines := len(strings.Split(info.Context(), "\n"))
wantLines := len(strings.Split(ref.Context(), "\n"))
if gotLines != wantLines {
t.Errorf("строк в контексте = %d, want %d (грязное имя добавило строк):\n%s",
gotLines, wantLines, info.Context())
}
}