внутренняя модель перестроена вокруг аудиозаписи
- audiorecords вместо transcribe_jobs: приложения (texts, structures, recognitions, record_events, topics) живут своими коллекциями, ссылки на исходник и на приведённую копию перестали переставляться - рубеж называет достигнутое, отказ стал признаком остановки с причиной, а сторожей стало двое: число отказов и время в рубеже - воркеры потеряли специализацию, их число задаётся [pipeline] workers, шаг выбирается по рубежу, а захват отдаёт идентификатор и признак захвата
This commit is contained in:
@@ -11,14 +11,17 @@ import (
|
||||
"time"
|
||||
|
||||
"git.vakhrushev.me/av/transcriber/internal/contract"
|
||||
"github.com/prometheus/client_golang/prometheus"
|
||||
)
|
||||
|
||||
// Проверки этого файла судят одну развилку воркера: пустой прогон против
|
||||
// отказа. Инвариант проекта — «NoopJobError не ошибка» — стоит ровно на ней, а
|
||||
// цена срабатывания отложенная: три воркера опрашивают базу раз в секунду, и
|
||||
// пустой прогон, принятый за отказ, даёт три записи в секунду и столько же
|
||||
// цена срабатывания отложенная: воркеры опрашивают базу раз в секунду, и пустой
|
||||
// прогон, принятый за отказ, даёт запись в секунду с каждого и столько же
|
||||
// засчитанных сбоев, которых не было.
|
||||
//
|
||||
// Счёт работы здесь не судится: он переехал в шаг конвейера вместе с меткой
|
||||
// рубежа. Воркер к рубежу не привязан и назвать его не может, а метка,
|
||||
// выведенная из имени потока, перестала что-либо значить с появлением пула.
|
||||
|
||||
// journalBuffer собирает журнал прогона. Пишут в него из горутины воркера, а
|
||||
// читает проверка — отсюда мьютекс.
|
||||
@@ -113,39 +116,6 @@ func runRecords(journal string) string {
|
||||
return strings.Join(kept, "\n")
|
||||
}
|
||||
|
||||
// jobCount читает счётчик работы воркера из общего реестра процесса. Судит
|
||||
// реестр, а не переменную пакета: метка, потерянная в точке употребления,
|
||||
// переменную не ломает, а на странице метрик видна.
|
||||
func jobCount(t *testing.T, worker, errLabel string) float64 {
|
||||
t.Helper()
|
||||
|
||||
families, err := prometheus.DefaultGatherer.Gather()
|
||||
if err != nil {
|
||||
t.Fatalf("не удалось собрать метрики: %v", err)
|
||||
}
|
||||
|
||||
for _, mf := range families {
|
||||
if mf.GetName() != "transcriber_worker_job_count" {
|
||||
continue
|
||||
}
|
||||
for _, m := range mf.GetMetric() {
|
||||
var gotWorker, gotErr string
|
||||
for _, label := range m.GetLabel() {
|
||||
switch label.GetName() {
|
||||
case "name":
|
||||
gotWorker = label.GetValue()
|
||||
case "error":
|
||||
gotErr = label.GetValue()
|
||||
}
|
||||
}
|
||||
if gotWorker == worker && gotErr == errLabel {
|
||||
return m.GetCounter().GetValue()
|
||||
}
|
||||
}
|
||||
}
|
||||
return 0
|
||||
}
|
||||
|
||||
// Обёртка `%w` объявлена конвенцией проекта умолчанием, и до этой задачи первая
|
||||
// же обёртка на пути сломала бы распознавание молча. Оракул держит именно
|
||||
// обёрнутое значение: на голом признак узнавался и приведением типа, то есть
|
||||
@@ -153,11 +123,8 @@ func jobCount(t *testing.T, worker, errLabel string) float64 {
|
||||
func TestWrappedNoopIsNotAFailure(t *testing.T) {
|
||||
const name = "wrapped_noop_worker"
|
||||
|
||||
before := jobCount(t, name, "false")
|
||||
beforeErr := jobCount(t, name, "true")
|
||||
|
||||
journal := runOnce(t, name, func(context.Context) error {
|
||||
return fmt.Errorf("find and acquire job: %w", &contract.NoopJobError{State: "created"})
|
||||
return fmt.Errorf("find and acquire record: %w", &contract.NoopJobError{State: "uploaded"})
|
||||
})
|
||||
|
||||
// Записи о старте и остановке воркера законны и к прогону не относятся —
|
||||
@@ -165,21 +132,13 @@ func TestWrappedNoopIsNotAFailure(t *testing.T) {
|
||||
if got := runRecords(journal); got != "" {
|
||||
t.Errorf("пустой прогон попал в журнал: %q", got)
|
||||
}
|
||||
if got := jobCount(t, name, "false"); got != before {
|
||||
t.Errorf("счётчик успешных прогонов вырос на пустом прогоне: было %v, стало %v", before, got)
|
||||
}
|
||||
if got := jobCount(t, name, "true"); got != beforeErr {
|
||||
t.Errorf("пустой прогон засчитан отказом: было %v, стало %v", beforeErr, got)
|
||||
}
|
||||
}
|
||||
|
||||
// Без этой проверки оракул был бы зелен и на коде, который не считает отказом
|
||||
// вообще ничего.
|
||||
func TestFailureIsLoggedAndCounted(t *testing.T) {
|
||||
// Без этой проверки оракул был бы зелен и на коде, который не пишет об отказе
|
||||
// вообще ничего. Счёт отказа судит проверка шага: метку рубежа знает он.
|
||||
func TestFailureIsLogged(t *testing.T) {
|
||||
const name = "failing_worker"
|
||||
|
||||
before := jobCount(t, name, "true")
|
||||
|
||||
journal := runOnce(t, name, func(context.Context) error {
|
||||
return errors.New("database is gone")
|
||||
})
|
||||
@@ -187,42 +146,28 @@ func TestFailureIsLoggedAndCounted(t *testing.T) {
|
||||
if !strings.Contains(journal, "database is gone") {
|
||||
t.Errorf("отказ не виден владельцу: журнал %q", journal)
|
||||
}
|
||||
if got := jobCount(t, name, "true"); got != before+1 {
|
||||
t.Errorf("отказ не засчитан: было %v, стало %v", before, got)
|
||||
}
|
||||
}
|
||||
|
||||
// Счёт успешных прогонов — знаменатель доли отказов. Реализация, снявшая его,
|
||||
// проходит обе проверки выше, а владелец теряет способность отличить «три
|
||||
// прогона в секунду, все отказали» от «три отказа среди тысячи прогонов».
|
||||
func TestSuccessIsCounted(t *testing.T) {
|
||||
// Успешный прогон отказом не записывается.
|
||||
func TestSuccessIsNotLoggedAsFailure(t *testing.T) {
|
||||
const name = "successful_worker"
|
||||
|
||||
before := jobCount(t, name, "false")
|
||||
|
||||
journal := runOnce(t, name, func(context.Context) error {
|
||||
return nil
|
||||
})
|
||||
|
||||
if got := jobCount(t, name, "false"); got != before+1 {
|
||||
t.Errorf("успешный прогон не засчитан: было %v, стало %v", before, got)
|
||||
}
|
||||
if strings.Contains(journal, "Worker error") {
|
||||
t.Errorf("успешный прогон записан отказом: журнал %q", journal)
|
||||
}
|
||||
}
|
||||
|
||||
// Остановка сервиса — не отказ шага: контекст отменили мы сами. Без этой
|
||||
// развилки каждая выкладка красит журнал владельца отказами и накручивает
|
||||
// счётчик сбоев, которых не было, — тот же довод, по которому не считается
|
||||
// `NoopJobError`. Судит контекст, а не текст ошибки: убитый по контексту
|
||||
// развилки каждая выкладка красит журнал владельца отказами, — тот же довод, по
|
||||
// которому не пишется `NoopJobError`. Судит контекст, а не текст ошибки: убитый по контексту
|
||||
// процесс отдаёт «signal: killed», и `errors.Is` его с отменой не свяжет.
|
||||
func TestShutdownIsNotAFailure(t *testing.T) {
|
||||
const name = "stopped_worker"
|
||||
|
||||
beforeErr := jobCount(t, name, "true")
|
||||
beforeOk := jobCount(t, name, "false")
|
||||
|
||||
journal := &journalBuffer{}
|
||||
logger := slog.New(slog.NewTextHandler(journal, nil))
|
||||
|
||||
@@ -251,10 +196,4 @@ func TestShutdownIsNotAFailure(t *testing.T) {
|
||||
if got := journal.String(); strings.Contains(got, "Worker error") {
|
||||
t.Errorf("остановка записана отказом: журнал %q", got)
|
||||
}
|
||||
if got := jobCount(t, name, "true"); got != beforeErr {
|
||||
t.Errorf("остановка засчитана отказом: было %v, стало %v", beforeErr, got)
|
||||
}
|
||||
if got := jobCount(t, name, "false"); got != beforeOk {
|
||||
t.Errorf("остановка засчитана успешным прогоном: было %v, стало %v", beforeOk, got)
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user