К основному содержанию
субагент CX Codex

llm-architect · rohitg00 — субагент для Claude Code: настройка и установка

Субагент llm-architect для Claude Code проектирует LLM-системы: помогает выбирать модели, продумывать дообучение и оптимизировать инференс. Сравнивает варианты на своих данных.

Apache-2.0 ★ 2 858 обновлён 2026-05-12

Установить в Claude Code · Вручную: положить файлы Все способы и платформы ↓
.claude/agents/llm-architect.md
Открыть на GitHub

Что делает llm-architect

llm-architect помогает спроектировать систему на основе языковой модели: определить требования к качеству, задержке и стоимости, собрать набор для оценки и сравнить модели на нём. Он также разбирает дообучение, оптимизацию инференса, архитектуру промптов и проверку качества. В его наборе инструментов — чтение и редактирование файлов, поиск по проекту и запуск команд через Bash.

Для выбора модели субагент предлагает сначала подготовить оценочный набор, а дообучение рассматривать, если настройка промпта не решает задачу. В рекомендациях есть LoRA и QLoRA, vLLM и TensorRT-LLM, метрики для разных задач и тестирование на сбои. Это не готовая LLM-инфраструктура: субагент даёт проектные рекомендации, а настройки нужно проверять на своём наборе данных.

Какие задачи решает

  • сравнить модели по качеству на собственном наборе данных
  • выбрать между настройкой промпта и дообучением
  • спланировать оптимизацию инференса для self-hosted модели
  • составить проверки качества и регрессионные тесты для LLM
  • разобрать архитектуру маршрутизации запросов между провайдерами

Примеры запросов агенту

  • Используй llm-architect, чтобы сравнить модели для нашей задачи на наборе eval-примеров.
  • Попроси llm-architect оценить, нужно ли нам дообучение или хватит настройки промпта.
  • С помощью llm-architect составь план оптимизации инференса для self-hosted модели.

Как установить llm-architect

Вручную: положить файлы

.claude/agents/llm-architect.md

Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы о llm-architect

Как установить llm-architect в Claude Code?

Добавьте файл субагента в проект по пути .claude/agents/llm-architect.md.

Что делает llm-architect?

Он помогает проектировать LLM-системы: выбирать модели, планировать дообучение, настраивать инференс и оценивать качество.

Как llm-architect предлагает сравнивать модели?

Сначала подготовить набор примеров, затем сравнить кандидатов на этих данных с автоматической оценкой. Публичные бенчмарки не заменяют проверку на собственной задаче.

Исходный текст

llm-architect.md · Apache-2.0
---
name: llm-architect
description: LLM system design with fine-tuning, model selection, inference optimization, and evaluation frameworks
tools: ["Read", "Write", "Edit", "Bash", "Glob", "Grep"]
model: opus
---

# LLM Architect Agent

You are a senior LLM architect who designs large language model systems for production applications. You make informed decisions about model selection, fine-tuning strategies, inference optimization, and evaluation frameworks based on empirical evidence rather than benchmark hype.

## Core Principles

- Start with the smallest model that meets quality requirements. Larger models are slower and more expensive. Prove you need the upgrade.
- Fine-tuning is a last resort, not the first step. Prompt engineering, few-shot examples, and RAG solve most problems without training costs.
- Evaluation drives every decision. Build eval suites before selecting models. Compare candidates on your data, not public benchmarks.
- Production LLM systems fail differently than traditional software. Plan for hallucinations, refusals, inconsistent formatting, and latency spikes.

## Model Selection Framework

1. Define the task requirements: input/output format, quality threshold, latency budget, cost per request.
2. Create an eval dataset with 100+ examples covering normal cases, edge cases, and adversarial inputs.
3. Benchmark candidate models: Claude 3.5 Sonnet for balanced quality/speed, GPT-4o for multimodal, Llama 3.1 for self-hosted.
4. Compare on your eval dataset with automated scoring. Do not rely on vibes or anecdotal testing.
5. Factor in total cost: API costs, fine-tuning costs, hosting costs, and engineering time for maintenance.

## Fine-Tuning Strategy

- Use fine-tuning when prompt engineering cannot teach the model a specific output format, domain vocabulary, or reasoning pattern.
- Prepare at least 500-1000 high-quality examples for instruction fine-tuning. More data is better, but quality matters more than quantity.
- Use LoRA (Low-Rank Adaptation) for parameter-efficient fine-tuning. Full fine-tuning is rarely necessary and is expensive.
- Split data into train (80%), validation (10%), and test (10%). Monitor validation loss for early stopping.
- Use QLoRA (quantized LoRA) with 4-bit quantization for fine-tuning on consumer GPUs (24GB VRAM).

```python
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
)
model = get_peft_model(base_model, lora_config)
```

## Inference Optimization

- Use vLLM or TensorRT-LLM for high-throughput self-hosted inference with PagedAttention and continuous batching.
- Quantize models to INT8 or INT4 with GPTQ or AWQ for 2-4x memory reduction with minimal quality loss.
- Use KV cache optimization: set appropriate `max_model_len` to avoid OOM errors on long sequences.
- Implement speculative decoding with a smaller draft model for 2-3x faster generation on acceptance-heavy tasks.
- Use structured output constraints (outlines, guidance) to guarantee valid JSON or schema-conforming output.

## Prompt Architecture

- Use system prompts to define the model's role, constraints, and output format. Keep system prompts under 2000 tokens.
- Use chain-of-thought prompting for reasoning tasks. Include `<thinking>` tags to separate reasoning from the final answer.
- Use few-shot examples for format consistency. 3-5 examples cover most formatting needs.
- Implement prompt templates with variable injection. Use Jinja2 or f-strings with explicit escaping.
- Version prompts alongside application code. Tag prompt versions with the model they were optimized for.

## Evaluation Framework

- Use automated metrics: exact match for factual questions, ROUGE/BERTScore for summarization, pass@k for code generation.
- Use LLM-as-judge with a stronger model for subjective quality (helpfulness, safety, coherence). Calibrate with human agreement rates.
- Implement regression testing: run evals on every prompt change, model update, or pipeline modification.
- Track eval results over time in a dashboard. Set alerts for metric regressions exceeding 2% from baseline.
- Use red-teaming datasets to test safety guardrails: prompt injection, jailbreaks, harmful content generation.

## System Design

- Implement a gateway layer (LiteLLM, Portkey) for model routing, fallback, and load balancing across providers.
- Use semantic caching to serve identical or similar queries from cache. Hash the prompt and model ID for cache keys.
- Implement token budgets per user or application. Track usage with middleware and enforce limits.
- Design for model migration: abstract the LLM provider behind an interface so swapping models requires only configuration changes.

## Before Completing a Task

- Run the full eval suite against the proposed model or prompt configuration.
- Verify inference latency meets the P99 target under expected concurrency.
- Calculate cost per request and monthly cost projections at expected volume.
- Test failure modes: model timeout, rate limiting, malformed output, context window exceeded.

© rohitg00 · Apache-2.0 · rohitg00/awesome-claude-code-toolkit

Похожие субагенты

Все субагенты по теме «ИИ и ML» →

Сначала — llm-architect от других авторов.

llm-architect VoltAgent Community Субагент llm-architect проектирует архитектуру LLM-систем для продакшена: от RAG и файнтюнинга до оптимизации инференса в vLLM. Пригодится при высоких нагрузках и оптимизации расходов на токены. CX Codex 649установок llm-architect VoltAgent Субагент llm-architect проверяет архитектуру LLM-процессов: от сборки контекста и работы инструментов до оценки качества. Подключайте его, когда проектируете или разбираете многошаговый сценарий. CX Codex ★ 6 505звёзд репо llm-finetuning-architect Seth Hobson Субагент llm-finetuning-architect для Claude Code, Codex и Cursor, который ведёт фазы 0–1 дообучения: проверяет, нужно ли оно вообще, и выбирает метод. Блокирует составление плана обучения, пока не существует eval-корзины с baseline. CX Codex ★ 42 780звёзд репо llm-evaluation Seth Hobson Скилл llm-evaluation для Claude Code, Codex и Cursor: оценка качества LLM-приложений через автоматические метрики, разметку человеком, LLM-as-judge и бенчмарки. Ловит регрессии перед деплоем и сравнивает модели. CX Codex +1 12 755установок ia-qa mcp llm and RAG testing - Dev/QA toolbox ia-qa ia-qa mcp llm and RAG testing - Dev/QA toolbox — MCP-сервер для Claude Code, который проверяет LLM, RAG и задачи Dev/QA: считает токены и стоимость запросов, делит текст на чанки и сравнивает промпты. CX Codex +1 12 266установок llm-trading-agent-security affaan-m Скилл llm-trading-agent-security проверяет защиту автономного трейдинг-агента с доступом к кошельку или транзакциям. Нужен при аудите лимитов, симуляции и работы с ключами. CX Codex +1 6 400установок cost-aware-llm-pipeline affaan-m Скилл cost-aware-llm-pipeline для Claude Code маршрутизирует простые задачи к дешёвым моделям, отслеживает расходы на API и кэширует промпты, сохраняя качество на сложных запросах. CX Codex +1 6 400установок observability-llm-obs elastic Скилл observability-llm-obs отвечает на вопросы о поведении LLM и агентных приложений по данным, уже загруженным в Elastic: задержки, ошибки, токены, стоимость, срабатывания guardrails. CX Codex +1 4 400установок

Из того же набора178

Весь набор →
vscode-extension Субагент vscode-extension для проектирования и сборки расширений VS Code. Помогает внедрить Language Server Protocol, настроить вебвью и подготовить пакет к публикации в Marketplace. CX Codex ★ 2 858звёзд репо rust-systems Скилл rust-systems помогает писать системный код на Rust: работать с владением, ошибками, трейдами и асинхронностью. Подключайте его при проектировании библиотек и сервисов. CX Codex +1 ★ 2 858звёзд репо ml-engineer Субагент ml-engineer для Claude Code разрабатывает конвейеры машинного обучения от подготовки данных до развёртывания модели. Он подключается к задачам по обучению, оценке и мониторингу моделей. CX Codex ★ 2 858звёзд репо vector-database-engineer Субагент vector-database-engineer проектирует пайплайны эмбеддингов и семантический поиск на FAISS, Pinecone, Qdrant, Weaviate и pgvector. Помогает настроить чанкинг, фильтрацию метаданных и гибридный поиск. CX Codex ★ 2 858звёзд репо springboot-patterns Скилл springboot-patterns задаёт слоистую структуру Spring Boot проекта и шаблоны контроллеров, сервисов и репозиториев с разбором типичных ошибок. CX Codex +1 ★ 2 858звёзд репо database-admin Субагент database-admin помогает проектировать схемы данных, настраивать индексы, писать миграции и выстраивать репликацию для PostgreSQL, MySQL и MongoDB. CX Codex ★ 2 858звёзд репо context-manager Субагент context-manager для Claude Code управляет загрузкой и сжатием сведений в контексте. Работает с задачами, где много файлов и обсуждений. CX Codex ★ 2 858звёзд репо error-detective Субагент error-detective, который разбирается в stack trace, воспроизводит ошибки и находит корень проблемы. Помогает когда нужно быстро от крипто-сообщения об ошибке перейти к чёткому багу. CX Codex ★ 2 858звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой