package replay_test import ( "bytes" "compress/gzip" "context" "flag" "io" "os" "path/filepath" "sort" "strings" "testing" "git.vakhrushev.me/av/healthlog/internal/ident" "git.vakhrushev.me/av/healthlog/internal/store" ) // archiveDir включает прогон сходимости на живом архиве. // // Флагом, а не переменной окружения и не путём по умолчанию: архив в // репозиторий не попадает (данные о здоровье), прогон занимает минуту и не // должен висеть на каждом `task gate`. Запускается командой // `task verify:archive`. var archiveDir = flag.String("healthlog.archive", "", "каталог сырого архива для прогона сходимости (по умолчанию прогон пропускается)") // Сходимость на живом архиве: тот же корпус, на котором выводились правила // разбора, обязан пройти через код без потерь и без расхождений — и повторное // проигрывание журнала обязано дать то же состояние. // // Прогон идёт через ту же операцию, которой пересобирает витрину // `healthlog reindex`. Собственный обход и собственный порядок здесь были // раньше и были ошибкой: они образовывали второй проигрыватель журнала, чьи // правила разошлись с настоящим, — а зеленел бы при этом он. func TestReplayЖивогоАрхива(t *testing.T) { if *archiveDir == "" { t.Skip("прогон живого архива выключен: задайте -healthlog.archive") } bodies := collectBodies(t, *archiveDir) if len(bodies) == 0 { t.Skipf("живого архива нет в %s — прогон пропущен", *archiveDir) } dir := t.TempDir() arch := openArchive(t, filepath.Join(dir, "raw")) src := openStore(t, filepath.Join(dir, "live.db")) ctx := context.Background() // Тела в архиве сжаты; распаковываем и кладём через тот же архив, чтобы // путь чтения был ровно тот, каким пойдёт пересборка. // // Заголовки доставки в архиве не лежат — они были заголовками запроса. // Поэтому автоматизация у всех одна: так проверяется в том числе // наследование слоя по цепочке доставок. Метка приёма берётся из ULID, // то есть хронология журнала настоящая. for _, path := range bodies { body, err := os.ReadFile(path) if err != nil { t.Fatalf("чтение %s: %v", path, err) } id := strings.TrimSuffix(filepath.Base(path), ".json.gz") at, err := ident.TimeOf(id) if err != nil { t.Fatalf("время из ULID %s: %v", id, err) } writeBody(t, arch, src, item{id: id, at: at, automationID: "auto"}, gunzip(t, body)) } first, dst := run(t, ctx, arch, src, filepath.Join(dir, "first.db")) // Несравнимые наборы полей — посылка, на которой стоит отказ от объединения // полей: их не было ни разу на всём корпусе. Число печатается, а не // проверяется: появление такого набора — событие для разбора, а не отказ // сходимости. t.Logf("тел %d: свёрнуто %d; отказов: слой %d, содержимое %d, прочее %d; несравнимых наборов %d", first.Bodies, first.Folded, first.FailedLayer, first.FailedMalformed, first.FailedOther, first.Incomparable) t.Logf("частично разобрано %d, подобрано без учёта %d, записей без тела %d", first.Partial, first.Adopted, first.Orphans) if first.Folded == 0 { t.Fatal("ни одна доставка не свернулась") } // Половина живого потока не несёт metrics вовсе (находка 50): это // тренировки и состояние разума. С тех пор как обе секции покрыты, // частично разобранных доставок в архиве нет — и вместо них проверяется то, // ради чего покрытие делалось: сущности доехали до витрины. // // Проверяется свойство, а не число: корпус растёт с каждой доставкой, а // прогон живого архива в гейт не входит, так что протухшая константа // покраснела бы молча. if first.Workouts == 0 { t.Error("тренировок в витрине нет — секция workouts не разбирается") } if first.Records == 0 { t.Error("записей в витрине нет — секция stateOfMind не разбирается") } t.Logf("тренировок %d, записей %d", first.Workouts, first.Records) // Повторное проигрывание того же журнала даёт то же состояние: свёртка // детерминирована, и пересборка даёт то же, что живой приём. // // Сравнивается ОТПЕЧАТОК содержимого, а не число объектов: на координате // всегда лежит ровно одна точка, и правило разрешения столкновений выбирает, // какая это будет точка, а не сколько их. Счёт объектов совпал бы и при // заведомо сломанном правиле. second, _ := run(t, ctx, arch, src, filepath.Join(dir, "second.db")) if second.Buckets != first.Buckets { t.Errorf("повторное проигрывание изменило число объектов: %d → %d", first.Buckets, second.Buckets) } if second.Workouts != first.Workouts || second.Records != first.Records { t.Errorf("повторное проигрывание изменило число сущностей: %d/%d → %d/%d", first.Workouts, first.Records, second.Workouts, second.Records) } if second.Fingerprint != first.Fingerprint { t.Errorf("повторное проигрывание изменило содержимое объектов:\n %s\n %s", first.Fingerprint, second.Fingerprint) } // Отпечаток печатается всегда: это единственный способ сравнить состояние с // тем, что давала прежняя редакция правила слияния. Эталон в репозитории не // живёт — он производен от архива, которого нет ни на одной другой машине. // Значений точек отпечаток не раскрывает: содержимое входит в него хешем. t.Logf("объектов %d, отпечаток содержимого %s", first.Buckets, first.Fingerprint) // Главное свойство ключа: у записей сна он ИНТЕРВАЛ, а не метка — под одним // `date` лежит до трёх записей (docs/local-research.md, находка 47). // // Проверяется само свойство, а не измеренное когда-то число. Прежняя // редакция сравнивала с константой 174, снятой на 94 доставках, и покраснела // молча, когда архив дорос до 116: константа, производная от корпуса, // протухает с каждой новой доставкой, а прогон живого архива в гейт не // входит, так что краснота никому не видна. coords, labels := countSleepKeys(t, dst) if coords == 0 { t.Fatal("записей сна в витрине нет — проверять нечего") } if coords <= labels { t.Errorf("координат сна %d при %d различных метках: ключ схлопнул записи до метки", coords, labels) } t.Logf("координат сна %d, различных меток %d", coords, labels) } // countSleepKeys возвращает число различных координат записей сна и число // различных меток начала. Разница между ними и есть то, что теряет ключ по // метке. // // Каталог разрезов — отдельная задача, поэтому здесь перебор по известным // слоям, а не запрос к нему. func countSleepKeys(t *testing.T, st *store.Store) (coords, labels int) { t.Helper() type key struct{ start, end int64 } ctx := context.Background() seenCoord := map[key]struct{}{} seenLabel := map[int64]struct{}{} for _, layer := range []string{"sample", "raw", "minute", "hour", "day"} { hours, err := st.BucketHours(ctx, "sleep_analysis", layer) if err != nil { t.Fatalf("часы объектов: %v", err) } for _, h := range hours { b, err := st.Bucket(ctx, "sleep_analysis", layer, h) if err != nil { t.Fatalf("чтение объекта: %v", err) } for _, p := range b.Points { seenCoord[key{p.Start.UnixNano(), p.End.UnixNano()}] = struct{}{} seenLabel[p.Start.UnixNano()] = struct{}{} } } } return len(seenCoord), len(seenLabel) } func collectBodies(t *testing.T, root string) []string { t.Helper() var out []string err := filepath.Walk(root, func(path string, info os.FileInfo, err error) error { if err != nil { return nil //nolint:nilerr // архива может не быть — это не отказ теста } if !info.IsDir() && filepath.Ext(path) == ".gz" { out = append(out, path) } return nil }) if err != nil { return nil } sort.Strings(out) return out } func gunzip(t *testing.T, body []byte) []byte { t.Helper() gz, err := gzip.NewReader(bytes.NewReader(body)) if err != nil { t.Fatalf("распаковка: %v", err) } defer func() { _ = gz.Close() }() out, err := io.ReadAll(gz) if err != nil { t.Fatalf("чтение: %v", err) } return out }