Matteo Achilli (@matteo_achilli) header
Matteo Achilli (@matteo_achilli) profile picture

Fondatore di @Egomnia

Italy
Joined July 2012
Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)Photo by Matteo Achilli (@matteo_achilli)
Matteo Achilli retweeted
Quando abbiamo iniziato a sviluppare Emma, il nostro obiettivo era realizzare un’intelligenza artificiale italiana. Oggi vogliamo fare un passo in più, visto il successo di pubblico: costruire una comunità italiana intorno a questo progetto. Per questo abbiamo lanciato il Forum di Emma (emma.egomnia.com/forum), uno spazio dedicato a tutti gli utenti, dove condividere idee, esperienze e contenuti, ma soprattutto contribuire attivamente alla crescita del progetto. Non vogliamo che Emma sia soltanto uno strumento da utilizzare, ma un progetto a cui le persone possano sentirsi parte.
🤖 Made with AI
1
1
33
Matteo Achilli retweeted
Forte dei risultati ottenuti con la prima versione, che ha consentito di bloccare circa l'8% dei prompt e risparmiare oltre 300.000 token di calcolo, oggi lanciamo Emma Guardrails 2.0 🎉 Oltre 100.000 prompt reali analizzati ed etichettati per sviluppare uno strumento ancora più efficace nella classificazione e nella protezione delle interazioni con l'intelligenza artificiale. Il modello è ora disponibile open source e gratuitamente per aziende, sviluppatori e istituzioni. È possibile provarlo online su emma.egomnia.com. Crediamo che la sicurezza dell'AI sia una sfida da affrontare insieme. #Egomnia #EmmaAI #EmmaGuardrails #AIResearch #IntelligenzaArtificiale #OpenSource
🤖 Made with AI
2
2
145
Matteo Achilli retweeted
🚀 Emma-6 supera le 100.000 chat e apre le porte a tutti! Si conclude la fase Beta di Emma-6: dopo le prime settimane di test con la nostra community, il modello è ora disponibile pubblicamente in una nuova versione, aggiornata e migliorata grazie ai feedback ricevuti. Oltre 100.000 chat, migliaia di interazioni e tanti spunti per continuare a migliorare. Un traguardo che non rappresenta solo un numero, ma il risultato di un percorso fatto di test, confronti, segnalazioni e miglioramenti continui. Un grazie speciale ai migliaia di Beta Tester che hanno contribuito a questa prima fase: il vostro supporto è stato fondamentale. Ma questo è solo l'inizio. Continueremo a sviluppare Emma-7, raccogliere feedback e lavorare per rendere i nostri modelli sempre più utili ed efficaci. Potete provare Emma-6 su emma.egomnia.com e scoprire le nostre API per integrare i modelli Egomnia nei vostri progetti. Il progetto continua. E vogliamo continuare a crescere insieme a voi. Buon Emma-6!
🤖 Made with AI
1
3
6
232
Matteo Achilli retweeted
Abbiamo appena rilasciato una nuova versione migliorata di Emma-6, anche grazie alle oltre 40.000 conversazioni raccolte finora durante la fase di Beta Testing. Il contributo degli utenti ci aiuta a migliorare Emma ogni giorno. Ancora pochi giorni e apriremo a tutti.
2
1
5
339
Matteo Achilli retweeted
Dal lancio di Emma-6, i Beta Tester hanno già inviato oltre 20.000 prompt. Tra questi oltre 1.500 sono stati bloccati dal nostro modello Guardrails 👉 emma.egomnia.com/guardrails Scaricalo gratuitamente per la tua azienda.
3
2
6
747
Matteo Achilli retweeted
Emma-6 🇮🇹 è uscita! P.S. @Ryanair_IT non siamo ancora perfetti, anzi, siamo moooolto lontani dalla perfezione, ma stiamo migliorando e continueremo a farlo, promesso 🤞. Buoni meme! 👉 emma.egomnia.com
7
4
10
1,802
Matteo Achilli retweeted
The chart you see below does NOT prove that #Emma 5 is the best model, even though it narrowly wins the comparison. It shows something simpler: LLMs under 2B parameters have very strong limitations, and Emma 5 is not worse than the others. I ran an informal, non-rigorous test on a small sample. So no: this is not a scientific evaluation, and it is not a definitive ranking. You can spare me the lecture on scientific method: the data is limited, this is only a qualitative assessment, a first look at the results. Also, hoping that someone can still read, let me say this clearly: Emma 5, with 0.6B parameters, is an unreliable model. It hallucinates often, makes a lot of mistakes, and today I see it as more suitable for experiments, games, memes, and technical trials than for serious use cases. The point, however, is different: at this size, the problem is not just Emma. I compared several small models, using TinyLlama as the upper bound (1.1B) and including smaller models as well. Some are Italian, others are multilingual. Among them are Google's Gemma 0.3B, Alibaba's Qwen 0.6B, and a few well-known names from the Italian landscape. In short, all of them show very clear limitations. Not just Emma, and that is the point. How did I test them? I had ChatGPT generate 20 questions, so I did not hand-pick them to make any specific model look good. Then I used Claude Code to generate the test scripts. Once the data was collected, the answers needed to be evaluated. I also had that done by an AI agent, again with Claude Code, which read the answers, assigned scores, and generated the chart. My conclusions, with all the necessary caveats, are these: building a truly good model requires money, a lot of money. Even for a 2B model, we are talking about hundreds of thousands of euros. digital sovereignty cannot be achieved with a model this small, but if you do not start investing, you will never achieve it. whoever developed Emma 5 did not get worse results than the others: they got results comparable to those of much larger and better-known companies. using Italian as a native language seems to provide an advantage, so the idea is not that far-fetched. In short: Emma 5 is not a model ready for reliable use. But dismissing it as a negative anomaly, without comparing it to similarly sized models, does not help us understand the problem. I also asked Claude to do a report on the data: Claude: I tested 7 small language models (all under 1.1B params) on 20 general-knowledge questions in Italian. Here's what I found. TL;DR: none of them broke 40%. There's a hard quality ceiling that no sub-1B model could cross. ------------------------------------------------------------ THE SETUP ------------------------------------------------------------ - 20 general-knowledge questions, in Italian - 7 models, each scored 1-10 per answer (max total = 200) - No few-shot, single sampling per answer Models: emma 0.6B, gemma 0.27B, qwen 0.6B, tinyllama 1.1B, minerva 1.0B, smollm 0.36B, nesso 0.4B ------------------------------------------------------------ THE RANKING (score out of 200) ------------------------------------------------------------ 1. emma 0.6B 79/200 39.5% the least bad 2. gemma 0.27B 72/200 36.0% best quality/size ratio 3. qwen 0.6B 67/200 33.5% great formatting, weak facts 4. tinyllama 1.1B 54/200 27.0% big but poor in Italian 5. minerva 1.0B 52/200 26.0% unaligned base, degenerates 6. smollm 0.36B 46/200 23.0% English-centric, off-language 7. nesso 0.4B 38/200 19.0% fluent but makes things up ------------------------------------------------------------ WHAT I LEARNED ------------------------------------------------------------ 1) THE 40% CEILING. No model exceeded 40%. The best (emma) topped out at 39.5%. The entire upper 60 points of the scale stayed empty. 2) SIZE DOESN'T BUY QUALITY. The smallest model (gemma, 0.27B) beat models 4x its size (tinyllama 1.1B, minerva 1.0B). Italian training and alignment matter far more than parameter count. 3) CONFIDENT HALLUCINATION IS THE REAL ENEMY. These models don't stay silent - they answer confidently, in clean formatting, and are simply wrong. Examples: - gemma: "the Divine Comedy was written by Leonardo Sciasano" - gemma: the president is "Luigi Grass" - qwen: "the light bulb was invented by Giuseppe Verdi" 4) THEY ALL FAIL ON THE SAME THINGS: fastest animal (they say cat/dog), elephant weight, why the sea is salty, who the president is. The one fact everyone got right? The capital of France is Paris. ------------------------------------------------------------ BOTTOM LINE ------------------------------------------------------------ Sub-1B models are great for fluency, formatting, closed tasks and on-device use - but NOT as a source of facts without verification. If you need a small generalist, gemma-3-270m or qwen3-0.6B are the best picks. Caveat: 20 questions is a small sample and the scoring is subjective. Treat this as an indicative snapshot, not a rigorous benchmark. The repo is on GitHub; I can link it in the comments on request. Any observations or additional data to add?
8
1
1
8
2,499
Modelli piccoli, verticali su task specifici, addestrati solo in italiano possono essere un primo passo per creare un mercato di LLM italiani.
Since the general consensus seems to be that #Emma is a complete technical disaster, I have decided to destroy whatever little technical reputation I have by explaining why I actually like the Emma project and want to contribute to it. I think many people are missing what is good about this project. They focus almost entirely on the most obvious problem: Emma hallucinates badly, producing surreal and therefore funny answers. In a way, that is also part of its charm. It feels like the answer of a small child: not stupid, just naive, making a huge mess out of the little she knows. So here is a very simple comparison. It is completely anecdotal and says nothing definitive about the overall value of the model; for that, we need proper benchmarks. But it gives a useful hint. If you ask Emma-5, "Who were the seven dwarfs?", it replies: I sette Nani sono una famiglia di personaggi immaginari dei fumetti. Sono stati creati da Jack Kirby, Jack Kirby e Jack Kirby nel 1969, con storie come The Nandy Harem, The Nile Dope, The Nighthawk e The Nile Dope. Erano i nani più potenti della galassia, ma furono uccisi in un conflitto tra loro dopo la sconfitta del Nile Dope. Now, absurdity aside, let's look at what is going on. "Nani" does not really know what it means. If you ask it separately, "What is a dwarf?", it says: "A dwarf is a small part of reduced size and mass." And yet, somehow, it identifies the term as referring to characters and decides they belong to comics, which is a plausible domain. Once it is in comic-book territory, it brings in a major figure like Jack Kirby, who drew the Fantastic Four. Then it ends with something that sounds vaguely like the echo of a story. Given the context, even that is coherent. That suggests the basic machinery of a real LLM is there: attention, context tracking, completion. But with too little information, it hallucinates wildly. It is, after all, tiny: 0.6B parameters. What I find genuinely interesting, though, is the structure of the answer: the Italian is correct and well formed. Notice "sono stati creati", "erano", and "furono uccisi". I have not seen that elsewhere. For comparison, I tried other small or comparable models. They do not do better. Here are the results: chi erano i sette nani qwen3:0.6b L'insieme dei Sette Nani (o i Sette Wonders di Giza, Colosseum, e altre strutture) è un insieme di delle strutture famose e innumerevoli in diversi paesi tinyllama:1.1b The Nantian people were known for their skill at building and constructing settlements, which is why they are often referred to as "settlers of nanoa". In fact, the word "nani" literally means "settlement". gemma4:e2b I Sette Nani sono personaggi famosi provenienti dalla fiaba classica di Biancaneve (Snow White), in particolare nelle versioni più note, come quella dei fratelli Grimm e il celebre film Disney. Doc (il più intelligente) Grumpy (il scontroso/irriverente) Happy (il felice) Sleepy (il sonnolento) Bashful (il timido) Sneezy (il starnutante) Dopey (il sciocco/stupido) Notice what happens: Qwen3 gets even more confused than Emma. TinyLlama, despite being twice as large, answers only in English and goes off context. gemma4:e2b answers correctly, but it is four times larger and was developed by Google, which certainly has better datasets; and yet its Italian is still shaky. So, given the size, Emma's result is not trivial at all. There is much, much more to say, but this example is enough to explain why, in my view, the project deserves a more serious evaluation than it has received. One of the main problems seems to be the dataset. But the Italian-first approach makes sense, it has advantages, and the structure of a real LLM seems to be there. And as I have tried to explain elsewhere, training models costs a fortune. So the cost side of the equation matters too. People have talked a lot about the errors. They have talked much less about the relationship between model size, dataset quality, training costs, and the results achieved. But looking at the strengths as well as the weaknesses changes the way you read the project quite a bit. I believe Emma will work well in the future, and it will be interesting to reread these early reactions. Not to rank who was right, but to understand how hard it can be to tell the difference between an immature project and a worthless one.
3
8
1,675
Initile chiedere a Emma “cos’è..”, di fare calcoli o domande a troll a trabocchetto. Ha pochi GB di dataset e parametri. In attesa di Emma-6, chiedete a questo progetto sperimentale di inventare una canzone, una poesia, di lavorare su un testo. Ah, Grazie per le 50.000 chat.
191
8
53
276
100,858
Emma è ancora un progetto piccolo e sperimentale. È specificato bene che è un primo piccolo passo. Ho letto (pochi) commenti intelligenti su Linkedin e (tanti) commenti sterili su X. Su Reddit mi sono fatto tante risate invece.
3
9
17,161
Un LLM addestrato da zero oggi viene erroneamente confrontato implicitamente con modelli che hanno trilioni di token. Mentre le domande dovrebbero essere altre: risolve un problema specifico meglio delle alternative? Costa meno? Quale progetto c’è dietro? Ecc..
26
1
6
17,394
È incredibile il “rumore sociale” (critiche, “guru”, perculamento) quando un progetto va virale. Le reazioni opportunistiche arrivano subito: semplificano il problema (“non è performante quindi è inutile”) perché è facile da dire e funziona bene sui social.
1
7
9,848
Quasi 10.000 conversazioni su Emma. Anche se c’è stata disinformazione sul progetto, questo ha viralizzato. Dati che aiuteranno l’RHLF (DPO) di Emma 6 da 1,5 miliardi di parametri. Proseguirò la R&S sugli LLM ovviamente e penso che mi toglierò qualche sassolino dalla scarpa…
7
1
9
11,422
Conosci la storia dell'Intelligenza Artificiale? Ieri è stata proiettata questa clip all'evento aziendale @Egomnia Summit 2026. Il video ha riscosso molto successo e in molti mi hanno chiesto di condividerlo youtu.be/3vmwtiZfSL8?si=l8jv…
1
3
8,292
In pochi giorni quasi 500 persone (wow!) hanno studiato le basi dell'Intelligenza Artificiale su Userprompt.ai, che da oggi è disponibile anche in inglese e spagnolo! Consiglio a tutti la lettura, grazie per aiutarmi nella condivisione dell'iniziativa e per i feedback
1
5
2,578
Ho lanciato un sito gratuito per spiegare bene cos’è l’Intelligenza Artificiale. C’ho lavorato molto, spero sia d’aiuto: userprompt.ai
6
5
14
11,698