К основному содержанию
скилл CX Codex

huawei-cloud-msmodelslim-model-adapt — скилл для Claude Code

Скилл huawei-cloud-msmodelslim-model-adapt для Claude Code и Codex для создания адаптеров моделей Transformers под msModelSlim. Проводит от разбора config.json до проверки квантованных весов.

MIT 165 установок ★ 59 обновлён 2026-11-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add huaweicloud/huaweicloud-skills --skill huawei-cloud-msmodelslim-model-adapt -a claude-code
Открыть на GitHub

Что делает huawei-cloud-msmodelslim-model-adapt

Скилл помогает собрать адаптер для decoder-only LLM или текстовой части understanding VLM под квантование W8A8 и W4A16. Генеративные модели вроде Stable Diffusion и схемы вроде SmoothQuant не поддерживаются. Для них нужен другой инструмент.

Работа начинается с анализа config.json и modeling_*.py, а файлы модели без весов советуют скачать через modelscope download. Дальше код строится по шаблонам assets/model_adapter_template.py или assets/vlm_model_adapter_template.py с обязательной согласованностью методов visit и forward. Для MoE-моделей рекомендуют разворачивать слои в обычные линейные. Запись добавляют в config/config.ini и устанавливают через bash install.sh. Финальную проверку выполняют четыре скрипта из scripts/ от создания тестовой модели до валидации описания квантования.

Для запуска нужны права на python3 и bash, Python 3.8+, а также установленные transformers версии от 4.40.0 и msmodelslim от 1.0.0. Без этих пакетов проверочные скрипты не стартуют.

Какие задачи решает

  • написать адаптер новой decoder-only LLM для msModelSlim
  • подготовить текстовый бэкбон understanding VLM к квантованию W8A8 и W4A16
  • зарегистрировать конфигурацию модели в config/config.ini и собрать через install.sh
  • сверить веса после fallback-квантования и проверить описание квантования

Примеры запросов агенту

  • Создай адаптер msModelSlim для модели Qwen по её config.json и modeling_*.py
  • Настрой процесс квантования W4A16 для моей кастомной LLM под Ascend NPU
  • Адаптируй текстовый бэкбон моей VLM-модели для квантования и прогони все четыре шага проверки

Как установить huawei-cloud-msmodelslim-model-adapt

1Через Skills CLI (Vercel)

npx skills add huaweicloud/huaweicloud-skills --skill huawei-cloud-msmodelslim-model-adapt -a claude-code

2Вручную: положить файлы

~/.claude/skills/huawei-cloud-msmodelslim-model-adapt/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/huawei-cloud-msmodelslim-model-adapt/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о huawei-cloud-msmodelslim-model-adapt

Как установить huawei-cloud-msmodelslim-model-adapt в Claude Code?

Выполните в терминале команду npx skills add huaweicloud/huaweicloud-skills --skill huawei-cloud-msmodelslim-model-adapt -a claude-code. Также скилл можно поставить в Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode.

Что делает huawei-cloud-msmodelslim-model-adapt?

Скилл помогает создать базовый адаптер Transformers для фреймворка квантования msModelSlim под схемы W8A8 и W4A16. Он ведёт через разбор структуры модели, заполнение шаблона, регистрацию в config/config.ini и четырёхшаговую проверку весов.

Какие требования и ограничения есть у huawei-cloud-msmodelslim-model-adapt?

Нужны Python 3.8+, transformers >= 4.40.0 и msmodelslim >= 1.0.0, а из инструментов требуются python3 и bash. Скилл работает только с decoder-only LLM и текстовой частью understanding VLM — генеративные модели вроде Stable Diffusion, encoder-only сети и методы SmoothQuant, QuaRot, FA3 и FlatQuant не поддерживаются.

Исходный текст

SKILL.md · MIT
---
name: huawei-cloud-msmodelslim-model-adapt
description: |-
  Create basic Transformers model adapters for msModelSlim. Implements required interfaces and completes a four-step verification workflow:
  generate test model -> full fallback quantization -> weight verification -> quantization description validation. Use this skill when the user wants to: (1) create msModelSlim adapters for decoder-only LLM, (2) adapt understanding VLM text backbones for quantization, (3) implement W8A8/W4A16 quantization workflow for new models. Trigger: user mentions "msModelSlim", "adapter", "model adapter","quantization", "W8A8","W4A16", "transformers", "LLM", "VLM", "adapter creation", "适配器","模型适配", "量化", "模型适配器", "LLM量化"
compatibility:
  - transformers >= 4.40.0
  - msmodelslim >= 1.0.0
tags: [msModelSlim, adapter, quantization, model]
allowed-tools:
  - python3
  - bash
---

# Huawei Cloud msModelSlim Model Adapter

## Overview

This skill guides how to create basic adapters for new models to run
W8A8/W4A16 quantization workflows in msModelSlim.

**Architecture**: Model Analysis -> Adapter Creation -> Registration ->
Verification (4 Steps)

**Related Skills**:

- `huawei-cloud-msmodelslim-model-analysis` - Model structure analysis
  before adapter implementation
- `huawei-cloud-ascend-profiler-db-explorer` - Optional: Performance
  analysis after deployment

## Scope

**Supported**:

- Decoder-only LLM
- Understanding VLM (text/LLM backbone only)

**Not supported**:

- Multimodal generation (Stable Diffusion/Flux/Wan)
- Encoder-only models
- Non-Transformers architectures
- High-level quantization methods (SmoothQuant/QuaRot/FA3/FlatQuant)

## Architecture

```text
┌─────────────────────────────────────────────────────────────┐
│              msModelSlim Model Adapter Skill                │
├─────────────────────────────────────────────────────────────┤
│  ┌──────────────────┐    ┌──────────────────────────────┐  │
│  │  Model Analysis │───▶│    Adapter Creation          │  │
│  │  - config.json  │    │    - LLM Adapter Template     │  │
│  │  - modeling_*.py│    │    - VLM Adapter Template     │  │
│  └──────────────────┘    │    - Required Interfaces     │  │
│                          └──────────────────────────────┘  │
│                                    │                       │
│                                    ▼                       │
│                          ┌──────────────────┐             │
│                          │  Registration    │             │
│                          │  & Installation  │             │
│                          └──────────────────┘             │
│                                    │                       │
│                                    ▼                       │
│  ┌──────────────────────────────────────────────────────┐ │
│  │                   Verification (4 Steps)              │ │
│  │  1. Generate Test Model → 2. Full Fallback Quant     │ │
│  │  3. Weight Verification → 4. Quant Description     │ │
│  └──────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
```

## Architecture Components

This skill involves the following cloud services and components:

- **msModelSlim**: Huawei Cloud's model quantization framework for
  efficient model compression
- **Transformers Library**: Hugging Face Transformers for model loading
  and processing
- **ModelScope**: Model download and management platform
- **Ascend NPU**: Target hardware for quantized model deployment

## Use Cases

**Typical Problem Scenarios:**

- Need to deploy LLM models with reduced memory footprint on Ascend NPU
- Want to optimize inference speed without significant accuracy loss
- Migrating models that don't have built-in msModelSlim support
- Need W8A8/W4A16 quantization for decoder-only LLM or VLM text backbones

**Typical User Phrases:**

- "How to quantize my custom LLM model for Ascend?"
- "Create msModelSlim adapter for Qwen model"
- "Implement W4A16 quantization workflow"
- "Adapt my VLM text backbone for quantization"
- "How to add quantization support for new models?"

## Core Workflow

### 1. Preparation

- **Download Model**: Recommended to use `modelscope download` for
  non-weight files.
  - Example: `modelscope download --model <org>/<model> --local_dir
    ./models/<name> --exclude '*.safetensors'`
- **Analyze Model**: Read `config.json` and `modeling_*.py` to confirm
  structure and implementation.
  - See: [Model Analysis Guide](references/model_analysis.md)

### 2. Create Adapter

- **Use Templates**:
  - LLM: `assets/model_adapter_template.py`
  - VLM: `assets/vlm_model_adapter_template.py`
- **Implement Interfaces**: Implement `handle_dataset`, `init_model`,
  `generate_model_visit`, `generate_model_forward`, `enable_kv_cache`.
- **Key Principles**:
  - `visit` and `forward` must be strictly consistent.
  - MoE models recommended to unpack to pure linear layers.
  - See: [Implementation Guide](references/implementation_guide.md)

### 3. Registration & Installation

- Register model and entry in `config/config.ini`, then execute
  `bash install.sh`.
- See: [Registration Guide](references/registration_guide.md)

### 4. Verify Adapter (Required)

- Must execute four-step verification: Generate test model -> Full
  fallback quantization -> Verify full fallback model matches float
  weights exactly and can load/save completely -> Verify actual
  quantization workflow works (including description file rule
  validation).
- See: [Verification Guide](references/verification_guide.md)

## Common Scripts

Scripts located in `scripts/` directory:

- `scripts/step1_generate_test_model.py`
- `scripts/step2_run_quantization.py`
- `scripts/step3_verify_weights.py`
- `scripts/step4_verify_quant_description.py`

## Prerequisites

### System Requirements

- Python 3.8+
- transformers >= 4.40.0
- msmodelslim >= 1.0.0

### Environment Check

> **Prerequisite check: Python3 + transformers + msmodelslim required**
>
> ```bash
> python3 --version  # Python3 >= 3.8
> python3 -c "import transformers; print('OK')"  # Transformers library
> python3 -c "import msmodelslim; print('OK')"  # msModelSlim library
> ```
>
> If not installed: `pip3 install --user transformers msmodelslim`

## Reference Documents

| Document | Description |
| ---------- | ------------- |
| [Model Analysis Guide](references/model_analysis.md) | Model structure analysis guide |
| [Implementation Guide](references/implementation_guide.md) | Adapter implementation instructions |
| [Registration Guide](references/registration_guide.md) | Registration and installation guide |
| [Verification Guide](references/verification_guide.md) | Four-step verification workflow |
| [Interface Checklist](references/interface_checklist.md) | Required interface implementation checklist |
| [Core Workflow](references/core_workflow.md) | Core workflow documentation |
| [Acceptance Criteria](references/acceptance-criteria.md) | Functional acceptance criteria |
| [IAM Policies](references/iam-policies.md) | IAM permission policies required by this skill |
| [Troubleshooting](references/troubleshooting.md) | Common issues and solutions |

## Requirements

- transformers >= 4.40.0 installed
- msmodelslim >= 1.0.0 installed
- Transformers model to be adapted
- Understanding of target quantization scheme (W8A8/W4A16)

## Core Commands

The four-step verification workflow is executed through the scripts in
the `scripts/` directory:

```bash
# Step 1: Generate a random-weight test model (slim)
python3 scripts/step1_generate_test_model.py \
  --model-path ./models/<model_name> \
  --output-path ./test_model

# Step 2: Run full fallback quantization (LLM / use --model-family vlm for VLM)
python3 scripts/step2_run_quantization.py \
  --model-path ./test_model \
  --output-path ./quantized_model \
  --model-type <model_type> \
  --model-family llm

# Step 3: Verify fallback weights match the float model exactly
python3 scripts/step3_verify_weights.py \
  --original-path ./test_model \
  --quantized-path ./quantized_model \
  --tolerance 1e-5

# Step 4: Verify the quantization description file against your rules
python3 scripts/step4_verify_quant_description.py \
  --desc-path ./quantized_model \
  --rules-path ./verify_rules.json
```

## Parameter Confirmation

| Script | Parameter | Required | Description |
| ------ | --------- | -------- | ----------- |
| step1 | `--model-path` | Yes | Path to the original model directory |
| step1 | `--output-path` | Yes | Output directory for the generated test model |
| step1 | `--num-layers` | No | Number of layers for the slim test model (default 2) |
| step2 | `--model-path` | Yes | Test model directory (step1 output) |
| step2 | `--output-path` | Yes | Output directory for the quantized model |
| step2 | `--model-type` | Yes | Model type of the target model |
| step2 | `--model-family` | No | `llm` (default) or `vlm` |
| step2 | `--config-path` | No | Fallback quantization config; auto-generated if omitted |
| step3 | `--original-path` | Yes | Directory of the float/step1 model |
| step3 | `--quantized-path` | Yes | Directory of the step2 quantized model |
| step3 | `--tolerance` | No | Max allowed weight difference (default 1e-5) |
| step4 | `--desc-path` | Yes | Quantization output dir or description file path |
| step4 | `--rules-path` | Yes | Verification rules JSON file path |

© huaweicloud · MIT · huaweicloud/huaweicloud-skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
model-quantization martinholovsky Скилл model-quantization для Claude Code, Codex, Cursor и других агентов, который добавляет экспертизу по квантизации LLM: 4-бит/8-бит форматы, конвертация в GGUF, подбор уровня под железо. CX Codex +1 199установок unforce-model weave-os Скилл unforce-model для Claude Code сбрасывает активную привязку модели Weave Router. CX Codex +1 ★ 5 622звёзд репо tao-finetune-cosmos-reason NVIDIA Corporation Скилл tao-finetune-cosmos-reason планирует и запускает дообучение моделей Cosmos3 через Cosmos Framework или Cosmos-RL, проверяя входные данные до старта. CX Codex +1 1 600установок vector-index-tuning Seth Hobson Скилл vector-index-tuning помогает настраивать векторные индексы под задержку, полноту поиска и расход памяти. Пригодится при работе с HNSW, квантизацией и масштабированием поиска. CX Codex +1 10 700установок ultralytics-platform Fatih C. Akyon Скилл ultralytics-platform для Claude Code помогает управлять ресурсами Ultralytics Platform, обучать модели и запускать hosted inference. Подключается к запросам об отправке моделей и датасетов, облачном обучении и развёртывании endpoint. CX Codex +1 ★ 1 216звёзд репо create-adapter harbor-framework Скилл create-adapter для Claude Code, Codex, Cursor и других агентов. Создаёт каркас бенчмарк-адаптера Harbor через harbor adapter init и передаёт работу руководству контрибьютора. CX Codex +1 113установок

Из того же набора80

Весь набор →
huawei-cloud-dws-io-diag Скилл huawei-cloud-dws-io-diag для Claude Code, Codex и Cursor. Находит первопричину перегрузки дискового ввода-вывода в кластерах хранилища данных Huawei Cloud DWS при срабатывании алертов. CX Codex +1 180установок huawei-cloud-cce-metric-analyzer Скилл huawei-cloud-cce-metric-analyzer собирает метрики кластеров Huawei Cloud CCE, сопоставляет их с ресурсами ECS, ELB, NAT и находит аномалии нагрузки через AOM Prometheus и утилиту hcloud. CX Codex +1 171установок huawei-cloud-cce-alarm-correlation-engine Скилл huawei-cloud-cce-alarm-correlation-engine для работы с алертами Huawei Cloud AOM в кластерах CCE: выгружает активные и исторические события, ищет штормы и дубликаты, ведёт правила алертов и уведомлений. CX Codex +1 168установок huawei-cloud-ucs-cluster-onboarding-manager Скилл huawei-cloud-ucs-cluster-onboarding-manager для Claude Code подключает Kubernetes-кластеры к Huawei Cloud UCS и управляет их группами и доступом. Выполняет операции через hcloud CLI. CX Codex +1 168установок huawei-cloud-ucs-policy-governor Скилл huawei-cloud-ucs-policy-governor управляет политиками Huawei Cloud UCS через hcloud: создаёт экземпляры, включает их на кластерах и проверяет соответствие. CX Codex +1 164установок huawei-cloud-msmodelslim-model-analysis Скилл huawei-cloud-msmodelslim-model-analysis для Claude Code и Codex оценивает архитектуру языковой модели перед написанием адаптера под msModelSlim. Определяет источник кода и риски квантования MoE. CX Codex +1 163установок huawei-cloud-cce-kubernetes-event-analyzer Скилл huawei-cloud-cce-kubernetes-event-analyzer вытаскивает события Kubernetes из кластеров Huawei Cloud CCE, собирает повторяющиеся ошибки и показывает, что сломалось в поде или неймспейсе. CX Codex +1 162установок huawei-cloud-msot-msopprof-operator-profiler Скилл huawei-cloud-msot-msopprof-operator-profiler собирает метрики производительности отдельных операторов на NPU Ascend через утилиту msopprof и строит отчёты. CX Codex +1 162установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой