К основному содержанию
скилл CX Codex

chatbot-analytics — скилл для Claude Code: что делает и как установить

Скилл chatbot-analytics помогает внедрить мониторинг AI-чатов с подсчётом токенов и задержек без сохранения личных данных по стандарту HIPAA.

MIT 221 установок ★ 274 обновлён 2026-10-30

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add curiositech/some_claude_skills --skill chatbot-analytics -a claude-code
Открыть на GitHub

Что делает chatbot-analytics

Скилл даёт готовые паттерны на TypeScript для сбора 13 метрик диалога. Он отслеживает общее число сессий, задержку ответа, частоту отказов и расход токенов. Агрегации для дашборда считают ориентировочную стоимость вызовов по тарифам Claude: 3.00 доллара за миллион входных токенов и 15.00 за миллион выходных.

Тексты сообщений логировать нельзя из-за HIPAA. Поэтому скилл сохраняет только технические счётчики и производные флаги. Тематика определяется по служебным индикаторам модели, а не по тексту переписки. Для работы требуются инструменты чтения и изменения файлов, а также доступ к npm или npx.

Какие задачи решает

  • внедрить сбор 13 метрик диалога без сохранения текстов сообщений
  • настроить учёт расхода токенов и расчёт стоимости вызовов Claude
  • классифицировать темы бесед по метаданным модели без нарушения HIPAA
  • собрать агрегации для дашборда активности пользователей чата

Примеры запросов агенту

  • Настрой сохранение метрик сессии чата и расхода токенов в базу данных
  • Добавь функции расчёта средней задержки ответов и частоты сбоев бота
  • Создай агрегацию для дашборда с подсчётом стоимости токенов за 30 дней

Как установить chatbot-analytics

1Через Skills CLI (Vercel)

npx skills add curiositech/some_claude_skills --skill chatbot-analytics -a claude-code

2Вручную: положить файлы

~/.claude/skills/chatbot-analytics/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/chatbot-analytics/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о chatbot-analytics

Как установить chatbot-analytics в Claude Code?

Выполните команду npx skills add curiositech/some_claude_skills --skill chatbot-analytics -a claude-code.

Что делает скилл chatbot-analytics?

Он предоставляет код и SQL-запросы для мониторинга AI-чатов. Система считает задержки, токены и завершённость сессий без чтения текста сообщений.

Как скилл обеспечивает соблюдение HIPAA?

В базу данных попадают только агрегированные счётчики и технические флаги. Тексты пользовательских запросов и ответов модели полностью исключены из схемы аналитики.

Исходный текст

SKILL.md · MIT
---
name: chatbot-analytics
description: Implement AI chatbot analytics and conversation monitoring. Use when adding conversation metrics, tracking AI usage, measuring user engagement with chat, or building conversation dashboards.
  Activates for AI analytics, token tracking, conversation categorization, and chat performance.
allowed-tools: Read,Write,Edit,Bash(npm:*,npx:*)
metadata:
  category: Data & Analytics
  tags:
  - analytics
  - chatbot
  - ai-metrics
  pairs-with:
  - skill: llm-streaming-response-handler
    reason: Streaming response metrics (TTFT, tokens/sec) are key chatbot analytics dimensions
  - skill: data-pipeline-engineer
    reason: Conversation data pipelines feed analytics dashboards and reporting systems
  - skill: prompt-engineer
    reason: Analytics on prompt effectiveness drive iterative prompt optimization
---

# AI Chatbot Analytics

This skill helps you implement analytics for the AI coaching chat feature while maintaining HIPAA compliance.

## Core Metrics to Track

Based on [industry best practices](https://hiverhq.com/blog/chatbot-analytics), track these 13 key metrics:

| Metric | Description | HIPAA Safe? |
|--------|-------------|-------------|
| Total Sessions | Number of chat sessions | Yes |
| Avg Messages/Session | Messages per conversation | Yes |
| Avg Session Duration | Time spent in chat | Yes |
| Engagement Rate | % users who use chat | Yes |
| Completion Rate | Sessions ended naturally | Yes |
| Abandonment Rate | Sessions ended early | Yes |
| Response Time | AI response latency | Yes |
| Token Usage | Total/avg tokens consumed | Yes |
| Error Rate | Failed responses | Yes |
| Fallback Rate | "I don't understand" responses | Yes |
| Topic Categories | What users discuss | Metadata only |
| Sentiment Trend | Emotional direction | Derived only |
| Crisis Triggers | Emergency detection | Metadata only |

## HIPAA-Compliant Analytics

### What to Track

```typescript
// Conversation metadata (SAFE)
interface ConversationAnalytics {
  id: string;
  conversationId: string;
  userId: string;  // For aggregation, not individual tracking
  startedAt: Date;
  endedAt: Date | null;
  messageCount: number;
  userMessageCount: number;
  aiMessageCount: number;
  totalTokens: number;
  inputTokens: number;
  outputTokens: number;
  category: string;  // Derived from metadata flags
  outcome: 'completed' | 'abandoned' | 'error' | 'crisis_escalated';
  avgResponseTime: number;
  hadFallback: boolean;
}
```

### What NOT to Track

```typescript
// NEVER store these in analytics
interface PROHIBITED {
  messageContent: string;      // PHI
  userQuery: string;           // PHI
  aiResponse: string;          // PHI
  specificTopics: string[];    // Could reveal health info
  exactSentiment: 'sad';       // Could reveal mental state
}
```

## Implementation Pattern

### Tracking Conversation Start

```typescript
// src/lib/ai/analytics.ts
export async function trackConversationStart(
  conversationId: string,
  userId: string
): Promise<void> {
  await db.insert(conversationAnalytics).values({
    id: generateId(),
    conversationId,
    userId,
    startedAt: new Date(),
    messageCount: 0,
    totalTokens: 0,
    category: 'unknown',
    outcome: 'in_progress'
  });
}
```

### Tracking Message Exchange

```typescript
export async function trackMessageExchange(
  conversationId: string,
  tokens: { input: number; output: number },
  responseTimeMs: number,
  flags: { hadFallback: boolean; hasCrisisIndicator: boolean }
): Promise<void> {
  await db
    .update(conversationAnalytics)
    .set({
      messageCount: sql`message_count + 1`,
      totalTokens: sql`total_tokens + ${tokens.input + tokens.output}`,
      inputTokens: sql`input_tokens + ${tokens.input}`,
      outputTokens: sql`output_tokens + ${tokens.output}`,
      avgResponseTime: sql`(avg_response_time * (message_count - 1) + ${responseTimeMs}) / message_count`,
      hadFallback: flags.hadFallback,
      ...(flags.hasCrisisIndicator && { outcome: 'crisis_escalated' })
    })
    .where(eq(conversationAnalytics.conversationId, conversationId));
}
```

### Tracking Conversation End

```typescript
export async function trackConversationEnd(
  conversationId: string,
  outcome: 'completed' | 'abandoned' | 'error'
): Promise<void> {
  await db
    .update(conversationAnalytics)
    .set({
      endedAt: new Date(),
      outcome
    })
    .where(eq(conversationAnalytics.conversationId, conversationId));
}
```

## Category Detection (Metadata-Based)

Detect conversation categories WITHOUT reading content:

```typescript
// Categories based on metadata flags from AI response
interface AIResponseMetadata {
  usedCopingStrategies: boolean;
  usedCrisisProtocol: boolean;
  usedCheckInSupport: boolean;
  usedGeneralChat: boolean;
  requestedClarification: boolean;
}

function deriveCategory(metadata: AIResponseMetadata): string {
  if (metadata.usedCrisisProtocol) return 'crisis_support';
  if (metadata.usedCopingStrategies) return 'coping_strategies';
  if (metadata.usedCheckInSupport) return 'checkin_support';
  if (metadata.requestedClarification) return 'clarification';
  return 'general_chat';
}
```

## Dashboard Aggregations

### Session Metrics

```typescript
// Get aggregated session stats (HIPAA safe - no individual data)
async function getSessionStats(days: number = 30) {
  const since = subDays(new Date(), days);

  return db
    .select({
      totalSessions: count(),
      avgMessages: avg(conversationAnalytics.messageCount),
      avgDuration: avg(
        sql`JULIANDAY(ended_at) - JULIANDAY(started_at)) * 24 * 60`
      ),
      completionRate: sql`
        CAST(SUM(CASE WHEN outcome = 'completed' THEN 1 ELSE 0 END) AS FLOAT) /
        CAST(COUNT(*) AS FLOAT)
      `,
      crisisEscalations: sql`
        SUM(CASE WHEN outcome = 'crisis_escalated' THEN 1 ELSE 0 END)
      `
    })
    .from(conversationAnalytics)
    .where(gte(conversationAnalytics.startedAt, since));
}
```

### Token Usage for Cost Tracking

```typescript
async function getTokenUsage(days: number = 30) {
  const since = subDays(new Date(), days);

  const result = await db
    .select({
      totalTokens: sum(conversationAnalytics.totalTokens),
      inputTokens: sum(conversationAnalytics.inputTokens),
      outputTokens: sum(conversationAnalytics.outputTokens),
      avgTokensPerSession: avg(conversationAnalytics.totalTokens)
    })
    .from(conversationAnalytics)
    .where(gte(conversationAnalytics.startedAt, since));

  // Estimate cost (Claude pricing)
  const inputCost = (result.inputTokens / 1_000_000) * 3.00;  // $3/M input
  const outputCost = (result.outputTokens / 1_000_000) * 15.00; // $15/M output

  return {
    ...result,
    estimatedCost: inputCost + outputCost
  };
}
```

### Category Breakdown

```typescript
async function getCategoryBreakdown(days: number = 30) {
  const since = subDays(new Date(), days);

  return db
    .select({
      category: conversationAnalytics.category,
      count: count(),
      percentage: sql`
        CAST(COUNT(*) AS FLOAT) * 100.0 /
        (SELECT COUNT(*) FROM conversation_analytics WHERE started_at >= ${since})
      `
    })
    .from(conversationAnalytics)
    .where(gte(conversationAnalytics.startedAt, since))
    .groupBy(conversationAnalytics.category)
    .orderBy(desc(count()));
}
```

## Alert Configuration

Set up alerts for concerning patterns:

```typescript
interface AnalyticsAlert {
  type: 'crisis_spike' | 'error_spike' | 'abandonment_spike';
  threshold: number;
  windowHours: number;
  action: 'log' | 'email' | 'slack';
}

const alerts: AnalyticsAlert[] = [
  {
    type: 'crisis_spike',
    threshold: 5,  // 5+ crisis escalations
    windowHours: 24,
    action: 'email'
  },
  {
    type: 'error_spike',
    threshold: 10, // 10+ errors
    windowHours: 1,
    action: 'slack'
  },
  {
    type: 'abandonment_spike',
    threshold: 0.5, // 50%+ abandonment rate
    windowHours: 24,
    action: 'log'
  }
];
```

## Database Schema

```sql
CREATE TABLE conversation_analytics (
  id TEXT PRIMARY KEY,
  conversation_id TEXT NOT NULL,
  user_id TEXT NOT NULL,
  started_at TEXT NOT NULL,
  ended_at TEXT,
  message_count INTEGER DEFAULT 0,
  user_message_count INTEGER DEFAULT 0,
  ai_message_count INTEGER DEFAULT 0,
  total_tokens INTEGER DEFAULT 0,
  input_tokens INTEGER DEFAULT 0,
  output_tokens INTEGER DEFAULT 0,
  category TEXT DEFAULT 'unknown',
  outcome TEXT DEFAULT 'in_progress',
  avg_response_time REAL DEFAULT 0,
  had_fallback INTEGER DEFAULT 0,

  FOREIGN KEY (conversation_id) REFERENCES conversations(id),
  FOREIGN KEY (user_id) REFERENCES users(id)
);

CREATE INDEX idx_conv_analytics_started ON conversation_analytics(started_at);
CREATE INDEX idx_conv_analytics_user ON conversation_analytics(user_id);
CREATE INDEX idx_conv_analytics_outcome ON conversation_analytics(outcome);
```

## Testing Analytics

```typescript
describe('Conversation Analytics', () => {
  it('tracks session without PHI', async () => {
    const analytics = await trackConversationStart('conv-123', 'user-456');

    // Verify no PHI is stored
    expect(analytics).not.toHaveProperty('messageContent');
    expect(analytics).not.toHaveProperty('userQuery');

    // Verify metadata is stored
    expect(analytics.conversationId).toBe('conv-123');
    expect(analytics.messageCount).toBe(0);
  });

  it('calculates aggregates correctly', async () => {
    const stats = await getSessionStats(30);

    expect(stats.totalSessions).toBeGreaterThanOrEqual(0);
    expect(stats.completionRate).toBeBetween(0, 1);
  });
});
```

## Resources

- [Chatbot Analytics Guide](https://hiverhq.com/blog/chatbot-analytics)
- [Botpress Analytics](https://botpress.com/blog/chatbot-analytics)
- [13 Core Metrics](https://www.tidio.com/blog/chatbot-analytics/)
- Admin Suite Design: `docs/ADMIN-DEVELOPER-SUITE.md`

© curiositech · MIT · curiositech/some_claude_skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
nextjs-chatbot laguagu Скилл nextjs-chatbot помогает собрать веб-чат на Next.js: подтверждение вызовов инструментов, сохранённая история, отрисовка результатов, подсказки и встраиваемый виджет. CX Codex +1 161установок chatbot-builder membrane Скилл для интеграции с платформой Chatbot Builder прямо из IDE. Создавайте контакты, отправляйте потоки диалогов, управляйте тегами и возможностями — через CLI Membrane без ручной работы с API. CX Codex +1 256установок data-analytics официальный Data Analytics Maintainers Плагин data-analytics для Codex и ChatGPT анализирует метрики и качество данных, готовит отчёты, графики и дашборды. Исследует изменения показателей, предлагает KPI и оценивает рынок. CX Codex GP ChatGPT ★ 8 052звёзд репо analytics-reporter Michael Galpert analytics-reporter — плагин для Claude Code, который анализирует метрики и готовит отчёты. Агент подключается к задачам по поиску инсайтов и рекомендаций на основе данных. ★ 1 013звёзд репо Elfsight AI Chatbot elfsight Сервер даёт ИИ-агенту доступ к беседам, лидам, базе знаний и аналитике виджетов Elfsight AI Chatbot. Через него можно добавить ответ в базу знаний. CX Codex +1 ★ 2звёзд репо openrouter-analytics OpenRouterTeam Скилл openrouter-analytics для Claude Code анализирует расходы, токены и задержки в OpenRouter прямо через диалог с агентом. Снижает затраты на модели и разбирает трафик API. CX Codex +1 385установок

Из того же набора180

Весь набор →
drone-inspection-specialist Скилл drone-inspection-specialist для анализа дроновых съёмок: пожары, крыши, град, тепловидение и 3D-реконструкция. Пригодится в оценке недвижимости и страховании. CX Codex +1 227установок drizzle-migrations Скилл drizzle-migrations для Claude Code работает со схемой SQLite через Drizzle ORM: описывает таблицы, колонки и индексы, генерирует и применяет миграции. Изменения схемы повторяемы. CX Codex +1 226установок seo-visibility-expert Скилл seo-visibility-expert настраивает поисковую оптимизацию сайта, готовит файл llms.txt для ИИ-краулеров и разметку Schema.org. Пригодится перед запуском веб-проекта. CX Codex +1 224установок mcp-creator Скилл mcp-creator для Claude Code помогает создавать MCP-серверы для внешних API и сервисов с учётом проверки входных данных и обработки ошибок. Активируется по запросам о разработке MCP. CX Codex +1 222установок technical-writer Скилл technical-writer помогает оформлять документацию для разработчиков по методологии Diátaxis: API-справочники, ADR, ранбуки и README с проверенными примерами кода. CX Codex +1 221установок reactive-dashboard-performance Скилл reactive-dashboard-performance настраивает быстрый рендеринг дашбордов на React и ускоряет асинхронные тесты. Помогает внедрить скелетоны, настроить React Query и убрать таймауты в тестах. CX Codex +1 220установок devops-automator Скилл devops-automator для Claude Code проектирует CI/CD-pipeline, пишет Terraform и Kubernetes-манифесты, настраивает GitOps. Помогает строить инфраструктуру и автоматизировать развёртывание. CX Codex +1 219установок bot-developer Скилл bot-developer для Claude Code помогает проектировать ботов для Discord, Telegram и Slack — от обработки событий до ограничений запросов и модерации. Описывает чат-ботов с диалогами в несколько ходов. CX Codex +1 218установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой