tribev2-brain-encoding — скилл для Claude Code: прогноз fMRI по видео

Что делает tribev2-brain-encoding

TRIBE v2 — мультимодальная модель Meta, собранная из трёх энкодеров: LLaMA 3.2 для текста, V-JEPA2 для видео и Wav2Vec-BERT для аудио. Общий Transformer переводит их представления на кортикальную поверхность fsaverage5, около 20k вершин. Скилл даёт агенту доступ к инференсу и обучению этой модели.

Для инференса хватит pip install -e .. Визуализация мозга требует extras [plotting] с PyVista и Nilearn, полное обучение — [training] с PyTorch Lightning и W&B. Веса тянутся из HuggingFace: TribeModel.from_pretrained("facebook/tribev2", cache_folder="./cache"). Дальше строится датафрейм событий через get_events_dataframe и вызывается predict.

Обучение с нуля упирается в доступ к LLaMA 3.2: нужен huggingface-cli login с read-токеном и одобренный запрос на странице модели. Полный перебор конфигураций рассчитан на Slurm — через переменные DATAPATH, SAVEPATH и SLURM_PARTITION. Без GPU обучение не поедет.