ARACHNE-X-ULTRA-AVATAR
NULLXES — Real-Time Digital Human Infrastructure
🚀 Model OverviewARACHNE-X ULTRA AVATAR — это real-time мультимодальная система генерации цифровых людей, способная создавать и управлять поведением аватаров на основе аудио, текста и визуальных условий.
Модель разработана как часть NULLXES Digital Workforce Infrastructure и предназначена для production-сценариев:
AI сотрудники enterprise коммуникации real-time интерфейсы интерактивные digital humans 🧠 Core Capabilities 🎭 Unified Generation Modes
Одна модель поддерживает:
Audio → Video (AT2V) Audio + Image → Video (AI2V) Video Continuation (streaming generation) 🗣️ Real-Time Audio-Driven Behavior Lip-sync с высокой точностью Prosody-aware генерация Multi-stream audio conditioning 🧬 Identity Preservation Engine Identity token bank Consistent facial structure Controlled expression system 🎬 Long-Context Video Stability Cross-chunk latent stitching Temporal memory Reduced degradation на длинных сценах ⚙️ Motion & Behavior Decoupling Speech ≠ Motion Natural body dynamics Reduced uncanny artifacts 🌀 Architecture Highlights Diffusion Transformer (DiT-based backbone) Multimodal conditioning (text + audio + image) Wav2Vec2 audio encoder UMT5 text encoder Streaming VAE decoder FlashAttention support ⚡ Key Features 🎥 Real-time streaming inference 🧍 Single & multi-character support 🔊 Dual audio modes (merge / sequential) 🧠 Emotion-aware control channel 🪶 Reduced repetition artifacts 📦 480p / 720p support 📊 Performance Notes Stable long-sequence generation High lip-sync alignment accuracy Identity consistency across segments Reduced VAE artifact accumulation 💡 Usage Installation git clone https://github.com/nullxes/arachne-x-ultra-avatar cd arachne-x-ultra-avatar
conda create -n arachne python=3.10 conda activate arachne
pip install torch torchvision torchaudio pip install flash-attn pip install -r requirements.txt Model Download pip install "huggingface_hub[cli]"
huggingface-cli download nullxes/ARACHNE-X-ULTRA-AVATAR
--local-dir ./weights/ARACHNE-X
🔑 Inference Examples
Single Avatar
torchrun --nproc_per_node=2 run_avatar_single.py
--checkpoint_dir=./weights/ARACHNE-X
--mode=at2v
--input_json=examples/single.json
Multi Avatar
torchrun --nproc_per_node=2 run_avatar_multi.py
--checkpoint_dir=./weights/ARACHNE-X
--input_json=examples/multi.json
Video Continuation
torchrun --nproc_per_node=2 run_avatar_single.py
--checkpoint_dir=./weights/ARACHNE-X
--mode=at2v
--num_segments=5
--ref_img_index=10
⚙️ Usage Tips
Audio CFG: 3–5 → лучший lip-sync
Добавляй слова типа “speaking”, “talking” в prompt
Для анти-репита:
ref_img_index: 0–24
увеличивай mask_frame_range
⚖️ License
MIT License.
🧠 Usage Considerations Не использовать для deepfake/identity misuse Требуется соблюдение локальных законов Проверять output перед production 🧬 About NULLXES
NULLXES — инфраструктурная платформа для создания цифровых сотрудников нового поколения.
ARACHNE-X — это визуальный слой. OMEGA — когнитивный слой.
📞 Contact