Добавил интеграцию с LLM

This commit is contained in:
2026-06-14 12:34:36 +03:00
parent 883148787a
commit 2ec0cf9747
7 changed files with 742 additions and 4 deletions
+87
View File
@@ -0,0 +1,87 @@
// Package llm — провайдер LLM за интерфейсом (дискриминатор type).
//
// Реализация выбирается полем [llm].type (см. docs/specs/recognition.md).
// Первый и пока единственный тип — "openai-compat": OpenAI-совместимый Chat
// Completions API (локальные серверы LM Studio/llama.cpp/Ollama и облачные
// совместимые провайдеры — DeepSeek, Qwen и др.).
//
// Пакет отвечает за один вызов модели и транспортную устойчивость (ретраи
// на сетевые сбои, 429 и 5xx). Бюджет переразбора ответа со схемой-в-промпте
// (llm.max_retries) принадлежит вызывающему recognize, а не провайдеру.
package llm
import (
"context"
"errors"
"fmt"
"time"
)
// Role — роль сообщения в диалоге.
type Role string
const (
RoleSystem Role = "system"
RoleUser Role = "user"
RoleAssistant Role = "assistant"
)
// Message — одно сообщение запроса.
type Message struct {
Role Role
Content string
}
// Request — запрос к модели.
type Request struct {
Messages []Message
JSONMode bool // response_format: json_object (структурированный вывод)
Temperature *float64 // nil — не передаём, у модели остаётся её дефолт
MaxTokens int // 0 — не передаём
}
// Usage — расход токенов и стоимость (если провайдер их сообщает).
type Usage struct {
PromptTokens int
CompletionTokens int
TotalTokens int
Cost float64
}
// Response — ответ модели.
type Response struct {
Content string
Model string
Usage Usage
}
// Provider — абстракция доступа к LLM. recognize работает только с ним и не
// знает про конкретный транспорт.
type Provider interface {
Complete(ctx context.Context, req Request) (Response, error)
}
// Config — параметры провайдера (подмножество [llm] из конфига).
type Config struct {
Type string
BaseURL string
APIKey string
Model string
Proxy string
Timeout time.Duration
}
// ErrUnknownType — запрошенный [llm].type не поддерживается.
var ErrUnknownType = errors.New("llm: unknown provider type")
// New собирает провайдер по дискриминатору cfg.Type.
func New(cfg Config) (Provider, error) {
switch cfg.Type {
case "openai-compat":
return newOpenAICompat(cfg)
case "":
return nil, fmt.Errorf("%w: %q (укажите [llm].type)", ErrUnknownType, cfg.Type)
default:
return nil, fmt.Errorf("%w: %q", ErrUnknownType, cfg.Type)
}
}