Observability для LLM-агентов — снимок 2026-06-30

Текущие версии

• Arize Phoenix: v17.14.0 (Jun 30, 2026) — https://github.com/Arize-ai/phoenix/releases
• Langfuse: v3.202.1 (Jun 29, 2026) — https://github.com/langfuse/langfuse/releases

Оба активно maintained, multiple releases per week.

Self-hosting complexity

Phoenix

• Простейший путь: pip install arize-phoenix + phoenix.launch_app() (local CLI)
• Production: один Docker image arizephoenix/phoenix:version-X.Y.Z
• Storage конфигурится через env vars
• License: Elastic License 2.0 — НЕ OSI-approved. Запрещает offering Phoenix "as hosted/managed service" третьим лицам
• Источник: https://arize.com/docs/phoenix/self-hosting

Langfuse

• Требует минимум 6 сервисов:
  • Langfuse Web
  • Langfuse Worker
  • Postgres
  • ClickHouse
  • Redis / Valkey
  • S3 / blob storage
• Все infra components должны работать в UTC
• NOT FOUND specific RAM/CPU minimums на overview page — redirect на deployment-specific guides
• License: MIT — OSI-approved

Источник: https://langfuse.com/self-hosting

Cloud pricing & free tiers

Langfuse Cloud

Overage: $8 per 100k units

Phoenix / Arize AX

Что рекомендуют для нашего scale (100 calls/день, 1-2 core / 4 GB VPS)

• Phoenix выигрывает на self-hosting simplicity — один container vs Langfuse 6-service stack
• Для cloud free-tier <100k traces/мес оба годятся:
  • Langfuse Cloud 50k units = больше headroom
  • Phoenix AX Free 25k spans = меньше но достаточно
• Langfuse платит за Prompt Playground и LLM-as-Judge — у Phoenix эти features бесплатно

Простые альтернативы

Helicone

• Free tier: 10K requests/мес
• Apache 2.0 (open source), self-hostable
• "Raw API call logging in minutes"

LangSmith Developer (LangChain own)

• Free tier: 5K traces/мес
• $39/seat/мес + $0.50 per 1k traces после
• LangChain-first, closed source

OpenTelemetry-only setup

• GenAI semantic conventions stable с early 2026
• Stack: OTel Collector + Tempo/Jaeger + Prometheus + Grafana
• Один VPS — экономически выгодно для <5 agents
• Источник: https://opentelemetry.io/blog/2026/genai-observability/

OpenLIT

• OTel-native open source
• One-line instrumentation
• Free self-host

OpenLLMetry (by Traceloop)

• Auto-instruments 40+ providers (OpenAI, Anthropic, LangChain, LlamaIndex)
• Acquired ServiceNow March 2026

Рекомендация для intel-collector

Не настраивать сейчас. Когда понадобится debugging trace'ов — поставить Phoenix в одном Docker container на VPS, открыть UI через SSH tunnel.

Команды (когда понадобится):

docker run -d --name phoenix -p 6006:6006 -p 4317:4317 arizephoenix/phoenix:latest
# UI на http://localhost:6006 через ssh -L 6006:127.0.0.1:6006

В коде instrument через OpenTelemetry env vars — OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4317.

Не делать сейчас потому что:

• LangGraph для нашего use case не сложный, отдебажим логами
• Дополнительный сервис = дополнительная нагрузка на VPS (4GB RAM)
• Включим когда впервые что-то не сработает и логов не хватит