К основному содержанию
скилл CX Codex

llm-patterns — скилл для Claude Code: что делает и как установить

Скилл llm-patterns для Claude Code задаёт архитектуру AI-first приложений: типизацию вызовов, версионирование промптов и тестирование.

MIT 302 установок ★ 713 обновлён 2026-10-13

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add alinaqi/maggy --skill llm-patterns -a claude-code
Открыть на GitHub

Что делает llm-patterns

Скилл задаёт чёткое разделение ответственности: языковая модель отвечает за классификацию, извлечение данных и генерацию, а стандартный код берёт на себя валидацию, роутинг, базу данных и авторизацию. Внутри собрана типовая структура каталогов с папками под шаблоны промптов, обёртку над клиентом Anthropic и тесты.

Паттерн работы с клиентом строится вокруг типизированной функции llmCall, которая сразу проверяет ответ через схемы Zod. Для проверки логики предлагаются три уровня: быстрые модульные тесты на моках, прогон сохранённых фикстур для валидации парсинга и отдельные ночные eval-наборы для замера точности в CI.

Поскольку запуск eval-тестов обращается к реальному API, в GitHub Actions потребуется настроить секрет ANTHROPIC_API_KEY и запуск по расписанию.

Какие задачи решает

  • структурировать проект с вызовами LLM и валидацией через Zod
  • настроить версионирование промптов в кодовой базе
  • изолировать LLM-вызовы в быстрых модульных тестах с моками
  • проверять точность классификации через ночные eval-тесты в CI

Примеры запросов агенту

  • Спроектируй сервис классификации тикетов поддержки по паттернам llm-patterns
  • Напиши модульный тест с моком и фикстуру для парсинга ответа модели
  • Добавь workflow для GitHub Actions с запуском eval-тестов по расписанию

Как установить llm-patterns

1Через Skills CLI (Vercel)

npx skills add alinaqi/maggy --skill llm-patterns -a claude-code

2Вручную: положить файлы

~/.claude/skills/llm-patterns/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/llm-patterns/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о llm-patterns

Как установить llm-patterns в Claude Code?

Выполните команду npx skills add alinaqi/maggy --skill llm-patterns -a claude-code. Файл скилла запишется в ~/.claude/skills/llm-patterns/SKILL.md.

В чём главный принцип архитектуры llm-patterns?

Модель используется только для логических задач вроде классификации и извлечения сущностей. Всю рутину — маршрутизацию, валидацию схем через Zod и работу с базами данных — выполняет обычный код.

Как скилл предлагает тестировать вызовы нейросетей?

Архитектура делит тесты на быстрые юнит-тесты с моками, детерминированные тесты парсинга на JSON-фикстурах и нагрузочные eval-тесты точности для ночного CI.

Исходный текст

SKILL.md · MIT
---
name: llm-patterns
description: AI-first application patterns, LLM testing, prompt management
when-to-use: When building apps where LLMs handle core logic - classification, extraction, generation
user-invocable: false
effort: medium
---

# LLM Patterns Skill


For AI-first applications where LLMs handle logical operations.

---

## Core Principle

**LLM for logic, code for plumbing.**

Use LLMs for:
- Classification, extraction, summarization
- Decision-making with natural language reasoning
- Content generation and transformation
- Complex conditional logic that would be brittle in code

Use traditional code for:
- Data validation (Zod/Pydantic)
- API routing and HTTP handling
- Database operations
- Authentication/authorization
- Orchestration and error handling

---

## Project Structure

```
project/
├── src/
│   ├── core/
│   │   ├── prompts/           # Prompt templates
│   │   │   ├── classify.ts
│   │   │   └── extract.ts
│   │   ├── llm/               # LLM client and utilities
│   │   │   ├── client.ts      # LLM client wrapper
│   │   │   ├── schemas.ts     # Response schemas (Zod)
│   │   │   └── index.ts
│   │   └── services/          # Business logic using LLM
│   ├── infra/
│   └── ...
├── tests/
│   ├── unit/
│   ├── integration/
│   └── llm/                   # LLM-specific tests
│       ├── fixtures/          # Saved responses for deterministic tests
│       ├── evals/             # Evaluation test suites
│       └── mocks/             # Mock LLM responses
└── _project_specs/
    └── prompts/               # Prompt specifications
```

---

## LLM Client Pattern

### Typed LLM Wrapper
```typescript
// core/llm/client.ts
import Anthropic from '@anthropic-ai/sdk';
import { z } from 'zod';

const client = new Anthropic();

interface LLMCallOptions<T> {
  prompt: string;
  schema: z.ZodSchema<T>;
  model?: string;
  maxTokens?: number;
}

export async function llmCall<T>({
  prompt,
  schema,
  model = 'claude-sonnet-4-6',
  maxTokens = 1024,
}: LLMCallOptions<T>): Promise<T> {
  const response = await client.messages.create({
    model,
    max_tokens: maxTokens,
    messages: [{ role: 'user', content: prompt }],
  });

  const text = response.content[0].type === 'text'
    ? response.content[0].text
    : '';

  // Parse and validate response
  const parsed = JSON.parse(text);
  return schema.parse(parsed);
}
```

### Structured Outputs
```typescript
// core/llm/schemas.ts
import { z } from 'zod';

export const ClassificationSchema = z.object({
  category: z.enum(['support', 'sales', 'feedback', 'other']),
  confidence: z.number().min(0).max(1),
  reasoning: z.string(),
});

export type Classification = z.infer<typeof ClassificationSchema>;
```

---

## Prompt Patterns

### Template Functions
```typescript
// core/prompts/classify.ts
export function classifyTicketPrompt(ticket: string): string {
  return `Classify this support ticket into one of these categories:
- support: Technical issues or help requests
- sales: Pricing, plans, or purchase inquiries
- feedback: Suggestions or complaints
- other: Anything else

Respond with JSON:
{
  "category": "...",
  "confidence": 0.0-1.0,
  "reasoning": "brief explanation"
}

Ticket:
${ticket}`;
}
```

### Prompt Versioning
```typescript
// core/prompts/index.ts
export const PROMPTS = {
  classify: {
    v1: classifyTicketPromptV1,
    v2: classifyTicketPromptV2,  // improved accuracy
    current: classifyTicketPromptV2,
  },
} as const;
```

---

## Testing LLM Calls

### 1. Unit Tests with Mocks (Fast, Deterministic)
```typescript
// tests/llm/mocks/classify.mock.ts
export const mockClassifyResponse = {
  category: 'support',
  confidence: 0.95,
  reasoning: 'User is asking for help with login',
};

// tests/unit/services/ticket.test.ts
import { classifyTicket } from '../../../src/core/services/ticket';
import { mockClassifyResponse } from '../../llm/mocks/classify.mock';

// Mock the LLM client
vi.mock('../../../src/core/llm/client', () => ({
  llmCall: vi.fn().mockResolvedValue(mockClassifyResponse),
}));

describe('classifyTicket', () => {
  it('returns classification for ticket', async () => {
    const result = await classifyTicket('I cannot log in');

    expect(result.category).toBe('support');
    expect(result.confidence).toBeGreaterThan(0.9);
  });
});
```

### 2. Fixture Tests (Deterministic, Tests Parsing)
```typescript
// tests/llm/fixtures/classify.fixtures.json
{
  "support_ticket": {
    "input": "I can't reset my password",
    "expected_category": "support",
    "raw_response": "{\"category\":\"support\",\"confidence\":0.98,\"reasoning\":\"Password reset is a support issue\"}"
  }
}

// tests/llm/classify.fixture.test.ts
import fixtures from './fixtures/classify.fixtures.json';
import { ClassificationSchema } from '../../src/core/llm/schemas';

describe('Classification Response Parsing', () => {
  Object.entries(fixtures).forEach(([name, fixture]) => {
    it(`parses ${name} correctly`, () => {
      const parsed = JSON.parse(fixture.raw_response);
      const result = ClassificationSchema.parse(parsed);

      expect(result.category).toBe(fixture.expected_category);
    });
  });
});
```

### 3. Evaluation Tests (Slow, Run in CI nightly)
```typescript
// tests/llm/evals/classify.eval.test.ts
import { classifyTicket } from '../../../src/core/services/ticket';

const TEST_CASES = [
  { input: 'How much does the pro plan cost?', expected: 'sales' },
  { input: 'The app crashes when I click save', expected: 'support' },
  { input: 'You should add dark mode', expected: 'feedback' },
  { input: 'What time is it in Tokyo?', expected: 'other' },
];

describe('Classification Accuracy (Eval)', () => {
  // Skip in regular CI, run nightly
  const runEvals = process.env.RUN_LLM_EVALS === 'true';

  it.skipIf(!runEvals)('achieves >90% accuracy on test set', async () => {
    let correct = 0;

    for (const testCase of TEST_CASES) {
      const result = await classifyTicket(testCase.input);
      if (result.category === testCase.expected) correct++;
    }

    const accuracy = correct / TEST_CASES.length;
    expect(accuracy).toBeGreaterThan(0.9);
  }, 60000); // 60s timeout for LLM calls
});
```

---

## GitHub Actions for LLM Tests

```yaml
# .github/workflows/quality.yml (add to existing)
jobs:
  quality:
    # ... existing steps ...

    - name: Run Tests (with LLM mocks)
      run: npm run test:coverage

  llm-evals:
    runs-on: ubuntu-latest
    # Run nightly or on-demand
    if: github.event_name == 'schedule' || github.event_name == 'workflow_dispatch'
    steps:
      - uses: actions/checkout@v4

      - name: Setup Node
        uses: actions/setup-node@v4
        with:
          node-version: '20'

      - name: Install dependencies
        run: npm ci

      - name: Run LLM Evals
        run: npm run test:evals
        env:
          ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
          RUN_LLM_EVALS: 'true'
```

---

## Cost & Performance Tracking

```typescript
// core/llm/client.ts - add tracking
interface LLMMetrics {
  model: string;
  inputTokens: number;
  outputTokens: number;
  latencyMs: number;
  cost: number;
}

export async function llmCallWithMetrics<T>(
  options: LLMCallOptions<T>
): Promise<{ result: T; metrics: LLMMetrics }> {
  const start = Date.now();

  const response = await client.messages.create({...});

  const metrics: LLMMetrics = {
    model: options.model,
    inputTokens: response.usage.input_tokens,
    outputTokens: response.usage.output_tokens,
    latencyMs: Date.now() - start,
    cost: calculateCost(response.usage, options.model),
  };

  // Log or send to monitoring
  console.log('[LLM]', metrics);

  return { result: parsed, metrics };
}
```

---

## LLM Anti-Patterns

- ❌ Hardcoded prompts in business logic - use prompt templates
- ❌ No schema validation on LLM responses - always use Zod
- ❌ Testing with live LLM calls in CI - use mocks for unit tests
- ❌ No cost tracking - monitor token usage
- ❌ Ignoring latency - LLM calls are slow, design for async
- ❌ No fallback for LLM failures - handle timeouts and errors
- ❌ Prompts without version control - track prompt changes
- ❌ No evaluation suite - measure accuracy over time
- ❌ Using LLM for deterministic logic - use code for validation, auth, math
- ❌ Giant monolithic prompts - compose smaller focused prompts

© alinaqi · MIT · alinaqi/maggy

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
typescript-llm-tech-stack-cursorrules-prompt-file PatrickJS Правило typescript-llm-tech-stack-cursorrules-prompt-file для Cursor задаёт стиль TypeScript-проектов с LLM, именование и паттерны для Zod, Axios и UUID. CX Codex +1 ★ 41 178звёзд репо llm-app-development travisjneuman Скилл llm-app-development для Claude Code помогает проектировать RAG-пайплайны, агентов и вызовы инструментов с валидацией через Zod. Включается при сборке чат-ботов, баз знаний и генеративных сервисов. CX Codex +1 139установок llm-app-patterns davila7 Скилл llm-app-patterns для Claude Code разбирает архитектуры приложений с LLM, включая RAG и агентов. Подключается при проектировании таких систем и настройке наблюдаемости. CX Codex +1 129установок ia-qa mcp llm and RAG testing - Dev/QA toolbox ia-qa ia-qa mcp llm and RAG testing - Dev/QA toolbox — MCP-сервер для Claude Code, который проверяет LLM, RAG и задачи Dev/QA: считает токены и стоимость запросов, делит текст на чанки и сравнивает промпты. CX Codex +1 12 266установок llm-debugger patricio0312rev Скилл llm-debugger находит причины сбоев в ответах нейросетей, правит системные промпты и генерирует регрессионные тесты для фиксации ошибок. CX Codex +1 259установок testing-llm OrchestKit Скилл testing-llm помогает тестировать функции с языковыми моделями: подменять ответы, оценивать качество RAG и проверять структурированный вывод. Включается при разработке тестов для ИИ-функций. CX Codex +1 126установок

Из того же набора61

Весь набор →
ms-teams-apps Скилл ms-teams-apps для Claude Code: собирает ботов, вкладки и расширения сообщений для Microsoft Teams с подключением LLM. Создаёт агентов внутри Teams. CX Codex +1 310установок database-schema Скилл database-schema для Claude Code сверяет схему базы перед запросами и изменением моделей. Он подключается перед работой с базой и при обращении к файлам схемы, миграций или моделей. CX Codex +1 308установок ai-models Скилл ai-models для Claude Code содержит справочник моделей Claude, OpenAI и Gemini и помогает выбрать модель для кода, анализа, работы с изображениями или голосом. CX Codex +1 307установок firebase Скилл подсказывает, как строить Firebase-приложения с Firestore, Auth, Storage и правилами безопасности. Срабатывает при работе с Firebase-файлами. CX Codex +1 305установок web-payments Скилл web-payments для Claude Code подключает платёжные формы Stripe для разовых платежей и подписок, а также вебхуки и личный кабинет клиента. CX Codex +1 302установок agent-teams Скилл agent-teams организует разработку через команду ИИ-агентов и обязательный TDD-конвейер. Подходит для проектов, где нужны проверки кода, безопасности и pull request. CX Codex +1 300установок supabase-python Скилл supabase-python настраивает архитектуру FastAPI с аутентификацией через Supabase и доступом к базе данных через SQLModel или SQLAlchemy. CX Codex +1 298установок supabase-node Скилл supabase-node задаёт паттерны для Node.js-бэкенда на Express или Hono с Supabase Auth, хранилищем и Drizzle ORM. CX Codex +1 293установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой