av
34e5109b6d
- половина потока (50 доставок из 104) не несёт metrics вовсе и до сих пор числилась parsed: ретеншен, поверив статусу, срезал бы тела stateOfMind, которых в экспорте Apple нет - разбор перечисляет верхнеуровневые ключи data, непокрытые проглатываются декодированием: тело 40 МиБ из непокрытой секции удерживает 0 МиБ - статус partial и колонка delivery.uncovered_sections; миграция переводит прежние parsed в pending — им верить нельзя - витрина не изменилась: отпечаток совпал с прогоном до изменения
257 lines
10 KiB
Go
257 lines
10 KiB
Go
package fold_test
|
|
|
|
import (
|
|
"bytes"
|
|
"context"
|
|
"encoding/json"
|
|
"fmt"
|
|
"log/slog"
|
|
"path/filepath"
|
|
"strings"
|
|
"testing"
|
|
|
|
"git.vakhrushev.me/av/healthlog/internal/archive"
|
|
"git.vakhrushev.me/av/healthlog/internal/fold"
|
|
"git.vakhrushev.me/av/healthlog/internal/store"
|
|
)
|
|
|
|
// Данные о здоровье чувствительнее токенов, и требование «значения точек не в
|
|
// логах» до сих пор не проверялось ничем: все тестовые логгеры выбрасывали
|
|
// записи. Тест ловит записи и смотрит на них.
|
|
func TestFoldНеПишетЗначенийВЛог(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
var buf bytes.Buffer
|
|
log := slog.New(slog.NewJSONHandler(&buf, &slog.HandlerOptions{Level: slog.LevelInfo}))
|
|
|
|
dir := t.TempDir()
|
|
arch, err := archive.New(filepath.Join(dir, "raw"))
|
|
if err != nil {
|
|
t.Fatalf("архив: %v", err)
|
|
}
|
|
st, err := store.Open(filepath.Join(dir, "healthlog.db"))
|
|
if err != nil {
|
|
t.Fatalf("база: %v", err)
|
|
}
|
|
t.Cleanup(func() { _ = st.Close() })
|
|
|
|
f := fold.New(arch, st, 0, log)
|
|
|
|
// Значения и имя устройства выбраны так, чтобы их нельзя было спутать ни с
|
|
// чем: если они окажутся в логе, это будет видно.
|
|
body := []byte(`{"data":{"metrics":[{"name":"step_count","units":"count","data":[` +
|
|
`{"date":"2025-06-05 10:00:00 +0300","qty":424242.7,"source":"Секретные Часы Антона"},` +
|
|
`{"date":"2025-06-05 10:01:00 +0300","qty":313131.9,"source":"Секретные Часы Антона"},` +
|
|
`{"date":"2025-06-05 10:02:00 +0300","qty":151515.1,"source":"Секретные Часы Антона"}` +
|
|
`]}]}}`)
|
|
|
|
deliver(t, arch, st, "d1", "Minutes", "auto-1", body)
|
|
if _, err := f.Fold(context.Background(), "d1"); err != nil {
|
|
t.Fatalf("свёртка: %v", err)
|
|
}
|
|
|
|
logged := buf.String()
|
|
if logged == "" {
|
|
t.Fatal("свёртка не записала ни одной строки — чекпоинт молчит")
|
|
}
|
|
|
|
for _, secret := range []string{"424242", "313131", "151515", "Секретные Часы"} {
|
|
if strings.Contains(logged, secret) {
|
|
t.Errorf("в логе оказалось %q:\n%s", secret, logged)
|
|
}
|
|
}
|
|
|
|
// И одновременно — чекпоинт обязан нести счётчики, иначе он бесполезен.
|
|
var rec map[string]any
|
|
for line := range strings.SplitSeq(strings.TrimSpace(logged), "\n") {
|
|
if err := json.Unmarshal([]byte(line), &rec); err != nil {
|
|
t.Fatalf("строка лога не JSON: %v", err)
|
|
}
|
|
if rec["msg"] == "delivery folded" {
|
|
break
|
|
}
|
|
}
|
|
for _, attr := range []string{"delivery_id", "points", "stored", "buckets", "layer", "skipped"} {
|
|
if _, ok := rec[attr]; !ok {
|
|
t.Errorf("в записи нет атрибута %q: %v", attr, rec)
|
|
}
|
|
}
|
|
}
|
|
|
|
// Доставка, у которой отброшены ВСЕ точки, — это сломавшийся формат, а не
|
|
// штатная работа. Без WARN смена формата метки выглядела бы как здоровый
|
|
// поток: 200, parsed, INFO, points=0.
|
|
func TestFoldВсеТочкиОтброшеныДаётWarn(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
var buf bytes.Buffer
|
|
log := slog.New(slog.NewJSONHandler(&buf, &slog.HandlerOptions{Level: slog.LevelInfo}))
|
|
|
|
dir := t.TempDir()
|
|
arch, err := archive.New(filepath.Join(dir, "raw"))
|
|
if err != nil {
|
|
t.Fatalf("архив: %v", err)
|
|
}
|
|
st, err := store.Open(filepath.Join(dir, "healthlog.db"))
|
|
if err != nil {
|
|
t.Fatalf("база: %v", err)
|
|
}
|
|
t.Cleanup(func() { _ = st.Close() })
|
|
|
|
f := fold.New(arch, st, 0, log)
|
|
|
|
// Метки в формате, которого разбор не знает: HAE сменил формат.
|
|
body := []byte(`{"data":{"metrics":[{"name":"step_count","units":"count","data":[` +
|
|
`{"date":"2025-06-05T10:00:00Z","qty":1},{"date":"2025-06-05T10:01:00Z","qty":2}` +
|
|
`]}]}}`)
|
|
|
|
deliver(t, arch, st, "d1", "Minutes", "auto-1", body)
|
|
if _, err := f.Fold(context.Background(), "d1"); err != nil {
|
|
t.Fatalf("свёртка: %v", err)
|
|
}
|
|
|
|
if !strings.Contains(buf.String(), `"level":"WARN"`) {
|
|
t.Errorf("доставка без единой сохранённой точки записана не как WARN:\n%s", buf.String())
|
|
}
|
|
}
|
|
|
|
// Несравнимые наборы полей — то самое событие, ради наблюдения за которым
|
|
// объединение полей не реализовано вовсе. Если оно когда-нибудь наступит, его
|
|
// обязано быть видно, а не додумано задним числом.
|
|
func TestFoldНесравнимыеНаборыДаютWarn(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
var buf bytes.Buffer
|
|
log := slog.New(slog.NewJSONHandler(&buf, &slog.HandlerOptions{Level: slog.LevelInfo}))
|
|
|
|
dir := t.TempDir()
|
|
arch, err := archive.New(filepath.Join(dir, "raw"))
|
|
if err != nil {
|
|
t.Fatalf("архив: %v", err)
|
|
}
|
|
st, err := store.Open(filepath.Join(dir, "healthlog.db"))
|
|
if err != nil {
|
|
t.Fatalf("база: %v", err)
|
|
}
|
|
t.Cleanup(func() { _ = st.Close() })
|
|
|
|
f := fold.New(arch, st, 0, log)
|
|
ctx := context.Background()
|
|
|
|
const body = `{"data":{"metrics":[{"name":"blood_glucose","units":"mg/dL","data":[` +
|
|
`{"date":"2025-06-05 10:00:00 +0300",%s}` +
|
|
`]}]}}`
|
|
|
|
deliver(t, arch, st, "d1", "Minutes", "auto-1", []byte(fmt.Sprintf(body, `"qty":5.1`)))
|
|
if _, err := f.Fold(ctx, "d1"); err != nil {
|
|
t.Fatalf("первая свёртка: %v", err)
|
|
}
|
|
buf.Reset()
|
|
|
|
deliver(t, arch, st, "d2", "Minutes", "auto-1", []byte(fmt.Sprintf(body, `"mealTime":"До еды"`)))
|
|
stats, err := f.Fold(ctx, "d2")
|
|
if err != nil {
|
|
t.Fatalf("вторая свёртка: %v", err)
|
|
}
|
|
if stats.Incomparable != 1 {
|
|
t.Fatalf("несравнимых %d, ожидался 1: тест проверяет не то", stats.Incomparable)
|
|
}
|
|
|
|
var rec map[string]any
|
|
if err := json.Unmarshal([]byte(strings.TrimSpace(buf.String())), &rec); err != nil {
|
|
t.Fatalf("строка лога не JSON: %v\n%s", err, buf.String())
|
|
}
|
|
if rec["level"] != "WARN" {
|
|
t.Errorf("уровень %v, ожидался WARN:\n%s", rec["level"], buf.String())
|
|
}
|
|
if rec["msg"] != "delivery folded, incomparable point fields" {
|
|
t.Errorf("сообщение %v не называет событие", rec["msg"])
|
|
}
|
|
if rec["incomparable"] != float64(1) {
|
|
t.Errorf("счётчик несравнимых %v, ожидался 1", rec["incomparable"])
|
|
}
|
|
// Координаты объекта — не значения: метрика, слой и час.
|
|
at, _ := rec["incomparable_at"].(string)
|
|
if !strings.Contains(at, "blood_glucose/minute@") {
|
|
t.Errorf("координаты объекта в записи не те: %q", at)
|
|
}
|
|
// И ни одного значения точки: данные о здоровье чувствительнее токенов.
|
|
for _, secret := range []string{"5.1", "До еды"} {
|
|
if strings.Contains(buf.String(), secret) {
|
|
t.Errorf("в логе оказалось значение точки %q:\n%s", secret, buf.String())
|
|
}
|
|
}
|
|
}
|
|
|
|
// Имена непокрытых секций в логе нужны — по ним видно, что поток принёс новое.
|
|
// Содержимого секций там быть не может: это данные о здоровье. И уровень от
|
|
// самой частичности не растёт — `partial` установившееся состояние половины
|
|
// потока, а постоянный WARN каждые пять минут обесценивает уровень.
|
|
func TestFoldЧастичныйРазборВЛоге(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
var buf bytes.Buffer
|
|
log := slog.New(slog.NewJSONHandler(&buf, &slog.HandlerOptions{Level: slog.LevelInfo}))
|
|
|
|
dir := t.TempDir()
|
|
arch, err := archive.New(filepath.Join(dir, "raw"))
|
|
if err != nil {
|
|
t.Fatalf("архив: %v", err)
|
|
}
|
|
st, err := store.Open(filepath.Join(dir, "healthlog.db"))
|
|
if err != nil {
|
|
t.Fatalf("база: %v", err)
|
|
}
|
|
t.Cleanup(func() { _ = st.Close() })
|
|
|
|
f := fold.New(arch, st, 0, log)
|
|
ctx := context.Background()
|
|
|
|
// Содержимое непокрытой секции помечено так, чтобы его нельзя было спутать
|
|
// ни с чем: если оно окажется в логе, тест это увидит.
|
|
const body = `{"data":{
|
|
"metrics":[{"name":"step_count","units":"count","data":[
|
|
{"date":"2025-06-05 10:00:00 +0300","qty":1},
|
|
{"date":"2025-06-05 10:01:00 +0300","qty":2},
|
|
{"date":"2025-06-05 10:02:00 +0300","qty":3},
|
|
{"date":"2025-06-05 10:03:00 +0300","qty":4},
|
|
{"date":"2025-06-05 10:04:00 +0300","qty":5},
|
|
{"date":"2025-06-05 10:05:00 +0300","qty":6},
|
|
{"date":"2025-06-05 10:06:00 +0300","qty":7},
|
|
{"date":"2025-06-05 10:07:00 +0300","qty":8},
|
|
{"date":"2025-06-05 10:08:00 +0300","qty":9},
|
|
{"date":"2025-06-05 10:09:00 +0300","qty":10}]}],
|
|
"stateOfMind":[{"valence":"СЕКРЕТНОЕ-НАСТРОЕНИЕ"}]}}`
|
|
|
|
deliver(t, arch, st, "d1", "Minutes", "a1", []byte(body))
|
|
if _, err := f.Fold(ctx, "d1"); err != nil {
|
|
t.Fatalf("свёртка: %v", err)
|
|
}
|
|
|
|
out := buf.String()
|
|
if !strings.Contains(out, "stateOfMind") {
|
|
t.Error("имени непокрытой секции нет в логе — момент появления новой секции незаметен")
|
|
}
|
|
if strings.Contains(out, "СЕКРЕТНОЕ-НАСТРОЕНИЕ") {
|
|
t.Error("содержимое непокрытой секции утекло в лог")
|
|
}
|
|
|
|
var rec struct {
|
|
Level string `json:"level"`
|
|
Uncovered []string `json:"uncovered"`
|
|
}
|
|
line := strings.TrimSpace(out)
|
|
if i := strings.LastIndex(line, "\n"); i >= 0 {
|
|
line = line[i+1:]
|
|
}
|
|
if err := json.Unmarshal([]byte(line), &rec); err != nil {
|
|
t.Fatalf("запись лога не разбирается: %v", err)
|
|
}
|
|
if rec.Level != "INFO" {
|
|
t.Errorf("уровень %q, ожидался INFO: частичность — не отклонение", rec.Level)
|
|
}
|
|
if len(rec.Uncovered) != 1 || rec.Uncovered[0] != "stateOfMind" {
|
|
t.Errorf("атрибут uncovered = %v, ожидался структурный список из stateOfMind", rec.Uncovered)
|
|
}
|
|
}
|