Files
healthlog/internal/store/pending_test.go
T
av b278501a6e store: при равной полноте точек побеждает пришедшая доставка
- байтовый порядок канонических форм остался тай-брейком только внутри одной
  доставки: на живом корпусе он решал 98,8% спорных координат и системно хранил
  меньшее значение, из-за чего step_count терял род и verify:archive был красным
- правило перестало быть коммутативным осознанно, поэтому порядок свёртки
  приведён к журнальному: проход воркера прекращается на отложенной доставке,
  а свёртка вне порядка журнала пишет WARN
- заведены счётчики PointsHeld и PointsErased — удержание полнотой и
  единственное направление, в котором правило теряет содержание
2026-08-04 11:16:24 +03:00

214 lines
7.8 KiB
Go

package store_test
import (
"context"
"errors"
"fmt"
"testing"
"time"
"git.vakhrushev.me/av/healthlog/internal/store"
)
// Очередь свёртки — сама таблица, и порядок её обхода это порядок журнала:
// `(received_at, id)`, тот же, в котором проигрывает пересборка.
func TestPendingDeliveriesИдётВПорядкеЖурнала(t *testing.T) {
t.Parallel()
st := open(t)
ctx := context.Background()
at := ts(t, "2026-08-01T12:00:00Z")
// Учёт заполняется в порядке, обратном хронологии, и доставки одной секунды
// различаются только идентификатором.
seedPending(t, st, "d3", at.Add(time.Second))
seedPending(t, st, "d2", at)
seedPending(t, st, "d1", at)
got, err := st.PendingDeliveries(ctx, store.PendingDelivery{}, 10)
if err != nil {
t.Fatalf("PendingDeliveries: %v", err)
}
want := []string{"d1", "d2", "d3"}
if len(got) != len(want) {
t.Fatalf("выбрано %d доставок, ожидалось %d", len(got), len(want))
}
for i, id := range want {
if got[i].ID != id {
t.Errorf("на месте %d доставка %q, ожидалась %q", i, got[i].ID, id)
}
}
}
// Курсор строго возрастает, и обход им конечен: без этого доставка, у которой
// не удалось записать даже исход разбора, выбиралась бы бесконечно.
func TestPendingDeliveriesКурсорСтрогоВозрастает(t *testing.T) {
t.Parallel()
st := open(t)
ctx := context.Background()
at := ts(t, "2026-08-01T12:00:00Z")
seedPending(t, st, "d1", at)
seedPending(t, st, "d2", at)
first, err := st.PendingDeliveries(ctx, store.PendingDelivery{}, 1)
if err != nil {
t.Fatalf("PendingDeliveries: %v", err)
}
if len(first) != 1 || first[0].ID != "d1" {
t.Fatalf("первая порция %+v", first)
}
second, err := st.PendingDeliveries(ctx, first[0], 1)
if err != nil {
t.Fatalf("PendingDeliveries: %v", err)
}
if len(second) != 1 || second[0].ID != "d2" {
t.Fatalf("вторая порция %+v", second)
}
// Доставка, оставшаяся `pending`, за курсором больше не выбирается — именно
// на этом стоит завершимость прохода воркера.
third, err := st.PendingDeliveries(ctx, second[0], 1)
if err != nil {
t.Fatalf("PendingDeliveries: %v", err)
}
if len(third) != 0 {
t.Errorf("за последней доставкой выбрано %d строк", len(third))
}
}
// В очередь попадают только неразобранные: свёрнутая доставка из неё выбывает,
// иначе воркер сворачивал бы весь журнал на каждом проходе.
func TestPendingDeliveriesБерётТолькоНеразобранные(t *testing.T) {
t.Parallel()
st := open(t)
ctx := context.Background()
at := ts(t, "2026-08-01T12:00:00Z")
seedPending(t, st, "d1", at)
seedPending(t, st, "d2", at.Add(time.Second))
if err := st.FinishParse(ctx, "d1", store.ParseOutcome{Status: store.ParseDone}); err != nil {
t.Fatalf("FinishParse: %v", err)
}
n, err := st.CountPendingDeliveries(ctx)
if err != nil {
t.Fatalf("CountPendingDeliveries: %v", err)
}
if n != 1 {
t.Errorf("задолженность %d, ожидалась 1", n)
}
got, err := st.PendingDeliveries(ctx, store.PendingDelivery{}, 10)
if err != nil {
t.Fatalf("PendingDeliveries: %v", err)
}
if len(got) != 1 || got[0].ID != "d2" {
t.Errorf("в очереди %+v, ожидалась только d2", got)
}
}
// Правило «отказ обстоятельств, а не данных» живёт в одном месте: его читают и
// тот, кто пишет исход разбора, и тот, кто классифицирует этот исход.
func TestTransientРазличаетОбстоятельстваИДанные(t *testing.T) {
t.Parallel()
cases := map[string]struct {
err error
want bool
}{
"работу прекратили снаружи": {context.Canceled, true},
"база занята": {store.ErrBusy, true},
"база занята, обёрнута": {fmt.Errorf("слияние: %w", store.ErrBusy), true},
"не уложились в бюджет": {context.DeadlineExceeded, false},
"записи нет": {store.ErrNotFound, false},
"прочее": {errors.New("диск отвалился"), false},
"ошибки нет": {nil, false},
}
for name, c := range cases {
t.Run(name, func(t *testing.T) {
t.Parallel()
if got := store.Transient(c.err); got != c.want {
t.Errorf("Transient(%v) = %v, ожидалось %v", c.err, got, c.want)
}
})
}
}
func seedPending(t *testing.T, st *store.Store, id string, at time.Time) {
t.Helper()
err := st.CreateDelivery(context.Background(), store.Delivery{
ID: id, ReceivedAt: at, RawPath: id + ".json.gz",
SHA256: "-", ParseStatus: store.ParsePending,
})
if err != nil {
t.Fatalf("запись доставки %q: %v", id, err)
}
}
// Свёртка вне порядка журнала обнаруживается запросом «есть ли позже меня уже
// разобранная доставка». Это единственное наблюдение, по которому расхождение
// живой витрины с пересборкой видно до сверки отпечатков.
func TestParsedAfterВидитТолькоЗаписавшихВВитрину(t *testing.T) {
t.Parallel()
st := open(t)
ctx := context.Background()
at := ts(t, "2026-08-01T12:00:00Z")
early := at
late := at.Add(time.Second)
seedPending(t, st, "d-early", early)
seedPending(t, st, "d-late", late)
// Пока преемница в очереди, расхождения нет.
found, err := st.ParsedAfter(ctx, early, "d-early")
if err != nil {
t.Fatalf("ParsedAfter: %v", err)
}
if found {
t.Error("неразобранная преемница засчитана расхождением")
}
// `failed` преемницей не считается: в витрину она ничего не записала, и
// перестановка относительно неё содержимого не разводит. Исход этот
// штатный — невыводимый слой, — и его учёт превратил бы WARN в шум.
if err := st.FinishParse(ctx, "d-late", store.ParseOutcome{Status: store.ParseFailed}); err != nil {
t.Fatalf("FinishParse: %v", err)
}
found, err = st.ParsedAfter(ctx, early, "d-early")
if err != nil {
t.Fatalf("ParsedAfter: %v", err)
}
if found {
t.Error("отказавшая преемница засчитана расхождением")
}
// А разобранная — считается.
if err := st.FinishParse(ctx, "d-late", store.ParseOutcome{Status: store.ParseDone}); err != nil {
t.Fatalf("FinishParse: %v", err)
}
found, err = st.ParsedAfter(ctx, early, "d-early")
if err != nil {
t.Fatalf("ParsedAfter: %v", err)
}
if !found {
t.Error("разобранная преемница не замечена: свёртка вне порядка журнала осталась бы молчащей")
}
// Сама преемница расхождением не является: предикат строго «позже».
found, err = st.ParsedAfter(ctx, late, "d-late")
if err != nil {
t.Fatalf("ParsedAfter: %v", err)
}
if found {
t.Error("доставка засчитала расхождением саму себя")
}
}