К основному содержанию
скилл CX Codex

prompt-engineer-toolkit · borghei — скилл для Claude Code: тестирование промптов

Скилл prompt-engineer-toolkit для Claude Code проверяет производственные промпты и оценивает результаты тестов. Он помогает сравнивать версии, искать регрессии и проверять изменения перед выпуском.

LicenseRef-MIT-Commons-Clause 106 установок ★ 1 183 обновлён 2026-11-08

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add borghei/Claude-Skills --skill prompt-engineer-toolkit -a claude-code
Открыть на GitHub

Что делает prompt-engineer-toolkit

Скилл помогает вести промпт как код: составить набор тестов, анализировать текст, сравнивать версии и оценивать ответы модели. В комплекте есть скрипты prompt_analyzer.py, prompt_diff.py и eval_scorer.py.

Набор тестов проверяет реальные входы и ответы по условиям contains, regex или exact. Оценщик принимает порог через --fail-under; при результате ниже него команда завершится с кодом 1. Анализатор и сравнение версий работают по эвристикам, поэтому сами по себе не показывают, выполняет ли промпт задачу: это проверяет тестовый набор.

Какие задачи решает

  • проверить новую версию промпта на регрессии
  • сравнить изменения между версиями промпта
  • оценить ответы модели по тестовому набору
  • найти расплывчатые формулировки и лишние инструкции в промпте

Примеры запросов агенту

  • Проверь assets/prompt_v1.txt на расплывчатые формулировки и лишние инструкции.
  • Сравни assets/prompt_v1.txt и assets/prompt_v2.txt, найди рискованные изменения.
  • Оцени ответы по assets/sample_eval_suite.json с порогом --fail-under 0.9.

Как установить prompt-engineer-toolkit

1Через Skills CLI (Vercel)

npx skills add borghei/Claude-Skills --skill prompt-engineer-toolkit -a claude-code

2Вручную: положить файлы

~/.claude/skills/prompt-engineer-toolkit/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/prompt-engineer-toolkit/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о prompt-engineer-toolkit

Как установить prompt-engineer-toolkit в Claude Code?

Выполните npx skills add borghei/Claude-Skills --skill prompt-engineer-toolkit -a claude-code. Файл скилла находится по пути ~/.claude/skills/prompt-engineer-toolkit/SKILL.md.

Что делает prompt-engineer-toolkit?

Скилл помогает тестировать промпты, сравнивать их версии и оценивать ответы модели по набору проверок. Он также анализирует текст на распространённые проблемы формулировок.

Как скилл проверяет, что изменение промпта не ухудшило результат?

Он оценивает ответы через eval_scorer.py с порогом --fail-under <baseline>. Новая версия должна набрать не меньше базового результата и не добавить ошибок в проверках формата.

Похожие скиллы

Все скиллы по теме «ИИ и ML» →

Сначала — prompt-engineer-toolkit от других авторов.

prompt-engineer-toolkit Alireza Rezvani Скилл prompt-engineer-toolkit тестирует, сравнивает и версионирует маркетинговые промпты. Он пригодится, когда качество ответов нужно проверять по тест-кейсам. CX Codex +1 623установок prompt-engineer https://github.com/Jeffallan Скилл prompt-engineer для Claude Code проектирует, оптимизирует и тестирует системные промпты для языковых моделей. Помогает внедрять few-shot примеры, цепочки рассуждений и валидировать схемы JSON. CX Codex +1 6 100установок prompt-engineering giuseppe-trisciuoglio Скилл prompt-engineering для Claude Code помогает писать, отлаживать и проверять промпты для LLM. Охватывает few-shot-примеры, системные инструкции и шаблоны. CX Codex +1 4 200установок prompt-engineering-patterns Seth Hobson Скилл prompt-engineering-patterns для Claude Code и Codex проектирует, проверяет и улучшает промпты для LLM. Помогает собирать шаблоны, few-shot-сценарии и структурировать ответы. CX Codex +1 23 418установок prompt-governance Alireza Rezvani Скилл prompt-governance помогает выстроить версионирование промптов, настроить пайплайн автоматических эвалов и безопасно выкатывать изменения в продакшен. CX Codex +1 40установок prompt-optimize Seth Hobson Слэш-команда prompt-optimize разбирает ваш промпт и переписывает его с chain-of-thought, few-shot примерами и самопроверкой по принципам. CX Codex +1 ★ 42 780звёзд репо senior-prompt-engineer Alireza Rezvani Скилл senior-prompt-engineer для систематической оптимизации промптов через eval-наборы, измерения качества RAG и валидации агентов. Работает с любыми моделями, использует только встроенные библиотеки Python. CX Codex +1 970установок

Из того же набора120

Весь набор →
social-content Скилл social-content помогает готовить посты и контент-планы для LinkedIn, X, Instagram, TikTok и Facebook. Задайте платформу, цель и формат публикации. CX Codex +1 110установок ci-cd-pipeline-builder Скилл ci-cd-pipeline-builder для Claude Code строит и проверяет CI/CD-пайплайны по стеку проекта. Он помогает настроить проверки, кэширование и этапы деплоя. CX Codex +1 108установок pricing-strategy Скилл pricing-strategy для Claude Code помогает проектировать тарифы SaaS, оценивать цены и готовить повышение стоимости. Охватывает запуск новой модели и анализ текущей. CX Codex +1 107установок pci-dss-specialist Скилл pci-dss-specialist для Claude Code оценивает соответствие PCI DSS и помогает определить область CDE и тип SAQ. Запускается на запросах о безопасности платёжных карт и подготовке к аудиту. CX Codex +1 106установок nis2-directive-specialist Скилл nis2-directive-specialist для Claude Code оценивает применимость NIS2, разбирает меры кибербезопасности и готовность к уведомлению об инцидентах. Помогает анализировать критические организации. CX Codex +1 105установок chief-of-staff Скилл chief-of-staff для Claude Code оценивает сложность вопроса основателя и направляет его C-level советникам или на заседание совета. Сводит расходящиеся мнения отделов. CX Codex +1 104установок brainstorm-experiments Скилл brainstorm-experiments для Claude Code и Codex, который помогает спланировать проверку продуктовой гипотезы с заранее заданным порогом успеха. Выбирает метод для новой идеи или функции. CX Codex +1 104установок analytics-tracking Скилл analytics-tracking помогает внедрить GA4 и GTM, составить схему событий, настроить ключевые конверсии и найти пропавшие данные. CX Codex +1 104установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой