future-agi-platform — скилл для Claude Code

Что делает future-agi-platform

Future AGI — открытая платформа для оценки и наблюдения за LLM-приложениями и агентами. Внутри трейсинг на OpenTelemetry, больше 50 метрик оценки, многошаговые симуляции, датасеты, шлюз с OpenAI-совместимым API и защитные проверки. Скилл даёт агенту готовые рецепты по каждому из этих блоков, чтобы не собирать их по документации вручную.

Инструментирование ставится отдельными пакетами: pip install fi-instrumentation, а под конкретный фреймворк — traceai-openai, traceai-langchain, traceai-llamaindex или traceai-crewai. Для TypeScript есть @traceai/fi-core и @traceai/openai. Дальше в коде вызывается register(project_name=...) и инструментор, после чего запросы уходят в трейсы сами. Метрики вызываются через fi.evals: Hallucination, Groundedness, ResponseRelevance, ToneCheck, PIICheck, ToolCallAccuracy — по одной или списком, есть и пакетный прогон по датасету.

Платформу можно поднять локально: клонировать репозиторий, скопировать futureagi/.env.example в futureagi/.env, прописать ключи и запустить docker compose up -d, интерфейс откроется на http://localhost:3031. Без FI_API_KEY и FI_BASE_URL в окружении SDK не зарегистрирует проект, поэтому ключи проверьте до первого запуска. Для self-host понадобятся Postgres, ClickHouse, Redis и RabbitMQ — их адреса тоже задаются в .env.