@jmn67

IA en local sur Apple Silicon. J'élève des agents IA sur mes Mac, je mesure mes IA (https://xitter.cf/t.co/8zzsUTiNlY) et je crée avec (clip Claudia). druide67 sur GitHub.

 Strasbourg
nahlovsky.fr
Joined March 2010
  • Tweets65
  • Following247
  • Followers51
11Media
« Mia, c'est pas une IA », starring Claudia from @anabology . Musique, voix, images, vidéo : tout est généré en local sur mon Mac, en 5 jours, Claude Code à la réalisation. Clip de 4 min en deux parties (1/2). French AI music video, made 100% locally on my Mac. #slopcore
12
10
1
73
8,551
Ma stack vidéo IA : tous les détails des modèles et outils qui m'ont permis de créer un clip vidéo avec Claudia (un personnage ouvert d'@anabology), le tout en local sur mon MacBook. avec : FLUX.2 Klein, Krea 2 + LoRA, LTX-2.3, Real-ESRGAN, LatentSync
1
58
Le détail : Habiller Claudia : FLUX.2 Klein Visage constant : Krea 2 + LoRA Animer l'image : LTX-2.3 Définition x2 : Real-ESRGAN Les lèvres : LatentSync Repères visage : MediaPipe Musique : ACE-Step, Demucs, Whisper Montage : Python, ffmpeg La méthode : nahlovsky.fr/fr/ecrits/makin…

Making-of du clip IA « Mia, c'est pas une IA », en local sur mon Mac : la méthode

Musique, voix, images, vidéo et lèvres synchronisées, sans un service cloud : la stack complète pour faire chanter un personnage sur Apple Silicon, étape par étape, avec les outils, les réglages et...

nahlovsky.fr
36
Replying to @jmn67 @anabology
Le making-of complet, avec la stack et les astuces sur mon blog : nahlovsky.fr/fr/ecrits/makin…

Making-of du clip IA « Mia, c'est pas une IA », en local sur mon Mac : la méthode

Musique, voix, images, vidéo et lèvres synchronisées, sans un service cloud : la stack complète pour faire chanter un personnage sur Apple Silicon, étape par étape, avec les outils, les réglages et...

nahlovsky.fr
10
Suite et fin (2/2). @claudia_popstar claudia.gallery
1
196
le clip en entier sur youtube : youtu.be/rFZufRm8Lxc

« Mia, c'est pas une IA », starring Claudia from anabology

Clip musical avec Claudia, généré entièrement par IA, de la musique...

youtube.com
1
1
202
Première mesure du soir sur mon M5 Max : Qwen3.8-27B tourne à 21,9 tok/s en local. Mon détail préféré : allumer la clim de la pièce fait gagner 14 % sur le même run ! Tout le monde publie des benchs, personne ne déclare la température de la pièce. Nous, si 😅
asiai Benchmark@asiai_devAug 14
Replying to @asiai_dev
First cell done. Qwen3.8-27B on llama.cpp b10270, unsloth UD-Q5_K_XL, M5 Max, 65k context, n=3, reasoning off and verified: 21.9 tok/s warm, 21.5 cold start, 17.7 at a 55k-token prompt. Thermal throttling declared, as on our baseline. Full conditions on the card.
asiai speedtest card. Qwen3.8-27B UD-Q5_K_XL on llama.cpp b10270, Apple M5 Max 128 GB, agentic bench n=3. Hero figure: 21.9 tok/s sustained, warm cache. Bars per phase: first call 21.5 tok/s (TTFT 3497 ms), warm 21.9 (103 ms), cold+prefix 21.5 (229 ms), long context 17.7 tok/s at 56k tokens, minus 19 percent. Reasoning off verified, 100 percent valid outputs, throttled to 50 percent declared. All gates green except thermal. asiai v1.32.0, 2026-08-14.

ALT asiai speedtest card. Qwen3.8-27B UD-Q5_K_XL on llama.cpp b10270, Apple M5 Max 128 GB, agentic bench n=3. Hero figure: 21.9 tok/s sustained, warm cache. Bars per phase: first call 21.5 tok/s (TTFT 3497 ms), warm 21.9 (103 ms), cold+prefix 21.5 (229 ms), long context 17.7 tok/s at 56k tokens, minus 19 percent. Reasoning off verified, 100 percent valid outputs, throttled to 50 percent declared. All gates green except thermal. asiai v1.32.0, 2026-08-14.

158
Ma soirée est réservée : cinq moteurs, un M5 Max à froid, et une seule question. Est-ce que Qwen3.8-27B vaut le téléchargement sur Apple Silicon ? Les vrais chiffres ce soir.
asiai Benchmark@asiai_devAug 14
Qwen3.8-27B open weights are out. Downloading now. Bench starts the moment they land: M5 Max, one engine resident at a time, same build and same quant as our Qwen3.6-27B baseline. Anything else would measure the setup instead of the model. First numbers tonight in this thread.
Qwen 3.8 27B benchmark

ALT Qwen 3.8 27B benchmark

1
121
Jean-Marc Nahlovsky retweeted
Qwen
@Alibaba_QwenAug 14
We promised open weights for Qwen3.8. Now, time to meet them! 🎉 ⚡ Qwen3.8-27B: - A native multimodal dense model. With just 27B parameters, it outperforms Qwen3.7-Plus overall and shines in real-world coding & office workflows. - 262K native context, easily extendable to 1M tokens via YaRN. - Built for builders. Highly efficient, high-quality, and licensed under Apache 2.0. 🚀 The open weights for Qwen3.8-2.4T-A95B (Max-level) have also been released recently. Whether you're shipping lightweight applications with Qwen3.8-27B locally or building agents with Qwen3.8-2.4T-A95B, they're yours now! Download, deploy, and build something we haven't imagined yet. 👀👇 - Hugging Face： huggingface.co/collections/Q… - ModelScope： modelscope.cn/collections/Qw…
849
2,114
976
15,914
6,045,643
Un claim viral annonçait 72 tok/s sur le modèle qui fait tourner mon Hermes Agent 24/7. J'ai vérifié moteur par moteur avant d'y croire : ça tient. Et le vrai gain est ailleurs (moitié moins de watts, ça compte quand ça tourne jour et nuit à la maison).
asiai Benchmark@asiai_devJul 12
72+ tok/s on Qwen 3.6 27B on an M5 Max? We checked: same machine, every engine in isolation, n=5. It holds.
1
90
C'était impossible la semaine dernière. J'ai fait tourner Llama 70B sur un Mac Mini M4 Pro 64 Go. 6.3 tok/s. Stable. 24W. TurboQuant compresse le KV cache 5x : le modèle passe de 60 Go (OOM) à 44 Go. Détails + setup complet : asiai.dev/turboquant/ #LocalLLM #AppleSilicon
Carte benchmark asiai : Llama-3.1-70B Q4_K_M à 6.3 tok/s sur Mac Mini M4 Pro 64 Go avec compression KV cache TurboQuant turbo3. Moteur llamacpp, 188ms TTFT, stable, 44.3 Go VRAM, 24W à 0.3 tok/s/W, 3 runs.

ALT Carte benchmark asiai : Llama-3.1-70B Q4_K_M à 6.3 tok/s sur Mac Mini M4 Pro 64 Go avec compression KV cache TurboQuant turbo3. Moteur llamacpp, 188ms TTFT, stable, 44.3 Go VRAM, 24W à 0.3 tok/s/W, 3 runs.

126
Même modèle, même machine, deux moteurs : LM Studio : 102 tok/s, 12W Ollama : 70 tok/s, 15W +46% de débit, -20% de conso. Sur un Mac Mini M4 Pro. Le moteur d'inférence compte autant que le hardware. #LocalLLM #EdgeAI #AppleSilicon
https://asiai.dev Multi-engine LLM benchmark & monitoring CLI

ALT https://asiai.dev Multi-engine LLM benchmark & monitoring CLI

108
Same model on M4 Pro 64GB : LM Studio MLX: 73.4 tok/s oMLX: 66.0 tok/s Ollama llama.cpp: 47.6 tok/s The engine matters as much as the hardware. MLX vs llama.cpp is a +44% difference on the same chip. Measured with asiai (open source bench tool): asiai.dev
thestreamingdev()
@thestreamingdevMar 25
I ran a 35-billion parameter AI agent on a $600 Mac mini. Specs: M4 Mac-Mini 16GB RAM The model doesn't fit in RAM. It pages from the SSD at 30 tokens/second. On NVIDIA, the same paging gives you 1.6 tok/s. Apple Silicon gives you 30. That's 18.6x faster. No cloud. No API keys. $0/month. Here's what it can do 🧵
3
1
11
2,788
wen3.5-35B est un modèle MoE avec DeltaNet. Son KV cache est quasi-constant. Contexte 64K → 256K tokens : même tok/s, même VRAM (24 Go). Sur un modèle dense, la VRAM explose avec le contexte. Pas ici. Mesuré sur M4 Pro 64 Go avec asiai asiai.dev #LocalLLM

asiai — Multi-engine LLM benchmark for Apple Silicon

Compare LLM inference engines on Apple Silicon. Measure tok/s, TTFT, GPU power and thermal across 10 engines. Open source CLI.

asiai.dev
1
58
Sur mon M4 Pro, LM Studio fait 72,6 tok/s sur Qwen3.5-35B. Ollama fait 30,4 tok/s. Même modèle, même machine. 2.4x de différence. Le moteur d'inférence compte plus que le modèle. Mesuré avec asiai, l'outil que j'ai créé pour ça. asiai.dev #LocalLLM #AppleSilicon

asiai — Multi-engine LLM benchmark for Apple Silicon

Compare LLM inference engines on Apple Silicon. Measure tok/s, TTFT, GPU power and thermal across 10 engines. Open source CLI.

asiai.dev
1
1
149
Et le TTFT (temps pour le premier token) c'est encore pire : LM Studio : 30 ms Ollama : 257 ms 8x. En multi-turn agentic, ça s'accumule à chaque appel.
45
J'ai benchmark Qwen3.5-35B-A3B (MoE, 3B params actifs) sur Mac Mini M4 Pro 64 Go. L'architecture DeltaNet change la donne : - Ollama/llama.cpp : 30 tok/s - LM Studio/MLX : 71 tok/s — 2.3x plus rapide Meme modele. Le moteur d'inference fait toute la difference.
2
239
more replies
Tableau complet (Mac Mini M4 Pro 64 Go) : Ollama qwen3-coder:30b — 71 tok/s, 25 Go MLX qwen3-coder:30b — 70 tok/s, 16 Go Ollama qwen3.5:35b-a3b — 30 tok/s, 27 Go MLX qwen3.5:35b-a3b — 71 tok/s, 24 Go Si vous tournez Qwen3.5 sur Apple Silicon, utilisez MLX. Y'a pas photo.
1
143
Je construis un outil open-source pour automatiser ces benchmarks et monitorer l'inference en temps reel. Multi-moteur (Ollama + LM Studio + vLLM), zero dependance, Apple Silicon natif. Follow pour la suite. #IALocale #AppleSilicon #LMStudio
64
Load more