Nonobench — MCP-сервер для Claude Code: бенчмарк нонограмм
Проверяет, как языковые модели решают нонограммы от 5x5 до 20x20. Пригодится, если нужен внешний тест на логику, а не на память.
claude mcp add --transport http nonobench https://www.nonobench.com/mcpЧто делает Nonobench
Nonobench — открытый бенчмарк для нонограмм (они же Picross и Paint by Numbers). Модель получает числовые подсказки по строкам и столбцам и должна заполнить сетку. Решение требует дедукции и работы с ограничениями, поэтому результат что-то говорит о рассуждениях модели.
Внутри два каталога: bench/ — раннер, база результатов и экспортёр, и visualizer/ — дашборд на TanStack Start поверх Cloudflare Workers, там же лежит набор головоломок. Запуски инкрементальные: пара «модель + головоломка» с успешным результатом больше не переигрывается, база не даёт её перезаписать, а провалившиеся попытки повторяются при следующем вызове. Результаты копятся в bench/results.db (SQLite).
Для локального запуска нужны Bun и ключ OpenRouter в bench/.env. Свой сервер подключается через NONOBENCH_LOCAL_BASE_URL и NONOBENCH_LOCAL_MODEL: подойдёт любой сервер с OpenAI-совместимым /v1, включая vLLM, llama.cpp, LM Studio и Ollama. Привязка по умолчанию 127.0.0.1 принимает соединения только с самой машины, поэтому сервер придётся слушать на всех интерфейсах. Порт наружу не выставляйте: у большинства локальных серверов нет аутентификации, и любой, кто до него дотянется, сможет гонять модель.
Какие задачи решает
- сравнить модели на логических задачах, а не на вопросах с готовым ответом
- прогнать один и тот же набор головоломок по нескольким моделям
- проверить свою локальную модель через OpenAI-совместимый эндпоинт
- уложиться в бюджет сессии по стоимости запросов
- пересчитать старые оценки текущим грейдером без новых вызовов API
Примеры запросов агенту
- Прогони бенчмарк по модели
Qwen3-32Bна размерах 5x5 и покажи план запуска - Запусти
bun run bench --all-missingи скажи, сколько головоломок осталось - Сделай пилот на двух головоломках 5x5 в базу
local-pilot.db
Как установить Nonobench
Командой платформы: удалённый сервер
claude mcp add --transport http nonobench https://www.nonobench.com/mcpКомандой платформы: удалённый сервер
codex mcp add nonobench --url https://www.nonobench.com/mcpФайл настроек
{
"mcpServers": {
"nonobench": {
"url": "https://www.nonobench.com/mcp"
}
}
}Файл настроек
{
"servers": {
"nonobench": {
"type": "http",
"url": "https://www.nonobench.com/mcp"
}
}
}Командой платформы: удалённый сервер
gemini mcp add -t http nonobench https://www.nonobench.com/mcpПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о Nonobench
Как установить Nonobench в Claude Code?
Одной командой: claude mcp add --transport http nonobench https://www.nonobench.com/mcp.
Что делает Nonobench?
Прогоняет модели по набору нонограмм от 5x5 до 20x20 и сохраняет результаты в SQLite. Оценка одинаковая для структурированного вывода и текстового режима: ответ должен удовлетворять всем подсказкам.
Что нужно, чтобы прогнать бенчмарк на своей модели?
Сервер с OpenAI-совместимым /v1, запущенный на всех интерфейсах, и переменные NONOBENCH_LOCAL_BASE_URL с NONOBENCH_LOCAL_MODEL. Для запуска раннера нужны Bun и ключ OpenRouter.
