Update memory: Camie Tagger v2 upgrade results
This commit is contained in:
48
memory/2026-03-28.md
Normal file
48
memory/2026-03-28.md
Normal file
@@ -0,0 +1,48 @@
|
||||
# 🦊 Nyamuras TTS Fine-tuning
|
||||
|
||||
## Модель
|
||||
- **Базовая:** F5TTS_v1_Base
|
||||
- **Файл:** `venv/lib/python3.12/ckpts/Nyamuras/pretrained_model_1250000.safetensors`
|
||||
- **Размер:** 1.3 GB
|
||||
- **Токенизатор:** pinyin (работает с русским текстом)
|
||||
|
||||
## Датасет
|
||||
- **Источник:** 10 Twitch клипов + 4 Telegram voice сообщения
|
||||
- **Сегментов:** 14
|
||||
- **Длительность:** ~1.5 минуты чистого голоса
|
||||
- **Формат:** WAV 22050 Hz mono → 24000 Hz для inference
|
||||
|
||||
## Сервер
|
||||
- **Хост:** lappland (192.168.1.246)
|
||||
- **GPU:** NVIDIA RTX 3060 12GB
|
||||
- **Путь:** `/home/openclaw/workspace/tts/nyamuras-voice-dataset/`
|
||||
|
||||
## Тестовые генерации
|
||||
- `test_output/nyamuras_test_001.wav` — 6.87 сек
|
||||
- `test_output/nyamuras_test_002.wav` — 6.61 сек
|
||||
- `test_output/nyamuras_test_003.wav` — 1.32 сек
|
||||
|
||||
## Gitea
|
||||
- **URL:** https://git.azimkin.dev
|
||||
- **API Token:** в TOOLS.md
|
||||
- **Репозитории:** f5-tts-ru, nyamuras-voice-dataset
|
||||
|
||||
## Команды для генерации
|
||||
```bash
|
||||
cd ~/workspace/tts/nyamuras-voice-dataset
|
||||
source venv/bin/activate
|
||||
|
||||
python venv/lib/python3.12/site-packages/f5_tts/infer/infer_cli.py \
|
||||
--model F5TTS_v1_Base \
|
||||
--ckpt_file venv/lib/python3.12/ckpts/Nyamuras/pretrained_model_1250000.safetensors \
|
||||
--ref_audio f5-tts-segmented/wav/voice_5831_seg00.wav \
|
||||
--ref_text "Приближается обед, съем тарелочку котлет, рис пюре, салат, омлет и запью компота." \
|
||||
--gen_text "Твой текст здесь" \
|
||||
--output_dir test_output \
|
||||
--device cuda
|
||||
```
|
||||
|
||||
## Заметки
|
||||
- pinyin токенизатор работает с русским текстом (фонетически)
|
||||
- char токенизатор требует обучения с нуля (размер vocab 102 vs 2546)
|
||||
- Для char токенизатора: `--tokenizer char --dataset_name Nyamuras_char`
|
||||
45
memory/2026-03-30.md
Normal file
45
memory/2026-03-30.md
Normal file
@@ -0,0 +1,45 @@
|
||||
# 2026-03-30
|
||||
|
||||
## Anime Art Sorter Project
|
||||
|
||||
### Создали полную систему сортировки аниме-артов:
|
||||
|
||||
**Backend (anime-sorter):**
|
||||
- Flask API на lappland:5002
|
||||
- CLIP (GPU/CUDA) для embeddings
|
||||
- WD Tagger v3 для тегов изображений
|
||||
- DBSCAN для кластеризации
|
||||
- SQLite база данных
|
||||
- Git: https://git.azimkin.dev/Azimkin/anime-sorter
|
||||
|
||||
**Flutter App (anime_uploader):**
|
||||
- 4 вкладки: Главная, Ручной, Авто, Кластеры
|
||||
- Загрузка фото с телефона
|
||||
- Авто-сканирование папок
|
||||
- Отслеживание загруженных файлов (SharedPreferences)
|
||||
- Просмотр кластеров и галерея изображений
|
||||
- Git: https://git.azimkin.dev/Azimkin/anime_uploader
|
||||
|
||||
**Workflow разработки:**
|
||||
- Код пишется на Ubuntu (здесь)
|
||||
- Сборка на lappland (RTX 3060)
|
||||
- Flutter SDK: /opt/flutter (Ubuntu), ~/flutter (lappland)
|
||||
- Android SDK: ~/android-sdk (lappland)
|
||||
|
||||
### Решённые проблемы:
|
||||
|
||||
1. **Кластеризация** - РЕШЕНО! Заменили WD Tagger на **Camie Tagger v2**:
|
||||
- WD Tagger: ~10k тегов, все картинки получали одинаковые теги
|
||||
- Camie Tagger v2: **70,527 тегов**, нашёл 1443 уникальных тегов
|
||||
- Теперь 50 осмысленных кластеров вместо 1 (blue_archive, arknights, genshin_impact, конкретные персонажи)
|
||||
|
||||
2. **Сервер на lappland** - порт 5002, работает стабильно
|
||||
|
||||
### Git Credentials:
|
||||
- Gitea token: b32b951a729d082d3bbd32e18625750fb372768f
|
||||
- Server: git.azimkin.dev
|
||||
|
||||
### Lappland SSH:
|
||||
- IP: 192.168.1.246
|
||||
- User: openclaw
|
||||
- Pass: OpenClawSecurePass
|
||||
Reference in New Issue
Block a user