Luc Georges (@LucSGeorges) header
Luc Georges (@LucSGeorges) profile picture

Software & ML Engineer @huggingface 🦀

Paris, France
Joined December 2020
Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)Photo by Luc Georges (@LucSGeorges)
we've been pushing commits to transformers discretely, time to talk about we've been cooking the last few months: ⚡️ Continuous Batching is in transformers ⚡️ this will simplify, most notably, evaluation and your training loop: no need for extra dependencies or infra to get fast inference, and no need for convoluted code to update your weights note that speed is currently not on par with the best inference frameworks and servers out there and probably never will be the goal is *not* to become as fast: we want to complement the existing landscape with features like these, aiming for transformers to be the toolbox for tinkering with and building models
14
23
1
177
53,568
I’m at the PyTorch conference, come meet me today at 10:35 if you want to talk anything Safetensors related!
14
482
🇫🇷🇫🇷
We 💚France 🇫🇷! Lets gooo
2
241
> Vous pouvez prétendre que vous croyez que cette plateforme, qui est un Git Vos compétences politiques ne sont pas des compétences techniques, et au contraire, sont de nature à obérer vos capacités de jugement. Si vous me le permettez 🗿
90 millions d'euros de valorisation de portefeuille pour un ancien ministre ayant investi 170 euros, même les républiques bananières n'ont pas osé. Mobiliser tout l'appareil d'Etat d'un pays en prétendant proposer des modèles Frontier, mais n'avoir jamais proposé qu'une distillation/copycat de Deepseek R1 avec un changement dans les modèles d'experts, c'est cela qui devrait vous épuiser. Avoir un dirigeant d'entreprise milliardaire qui insulte un candidat à la présidentielle et avocat, et refuse de répondre au fond, c'est tout cela qui devrait vous fatiguer. En ce qui concerne Huggingface, vous êtes en train de vendre la principale plateforme permettant l'accès à des modèles open source à un acteur oligopolistique qui est désormais plus puissant que de nombreux États, et qui est pieds et main liés avec l'administration Trump. Vous pouvez prétendre que vous croyez que cette plateforme, qui est un Git, vaut 12 milliards d'euros, et que les raisons de cette prise de contrôle ne sont pas politiques. Vous pouvez vous convaincre que cela n'aura pas d'impact demain ; et que, alors que vous pouviez servir l'humanité et votre pays, vous avez mis les doigts dans dans un engrenage dont vous ne sortirez pas. Que tout cela n'est pas la répétition comique de l'absorption et de l'instrumentalisation de l'open-source par les grandes structures états-uniennes dans les années 80 et 90. Vous pouvez prétendre que Nvidia ne cherche à travers cela qu'à défendre une vision éthique du monde ; ou que son business model (GPU first) ferait de l'open source une source de débouchés naturels à protéger ; ou même qu'à travers l'accès à vos données et statistiques, cela leur permettra d'affiner leurs stratégies industrielles. Naïvetés. Ce qui se joue est l'avenir d'un peuple. Ce qui se joue est la possibilité pour chacun d'entre nous de sortir non écrasés, mais émancipés d'une révolution technologique qui va ravager des pans entiers de l'économie et opérer une redistribution des richesses et de l'accès au capital unique depuis la révolution industrielle. Ce qui se joue est bien plus grave et sérieux que ce que vous ne semblez penser, et bien plus profond que les absurdes et ridicules discours apocalyptiques que vos camarades et collègues de la Silicon Valley aiment distiller. C'est une lutte politique au sens le plus puissant du terme qui commence, qui va affecter les vies de milliards d'être humains, et de dizaines de millions de Français. Et vous avez l'immaturité de le traiter comme s'il s'agissait de "bashing", de mises en causes de "petites frappes" ; et autres énoncés plutôt propres de l'adolescence que d'adultes qui vont déterminer ces destinées. C'est particulièrement inquiétant. En ce qui vous concerne plus spécifiquement, un avertissement: lorsque l'on atteint de telles valorisations et sommes, l'argent est pouvoir ; et donc l'argent est politique. Cela ne vaut pas condamnation ou jugement, mais devrait vous servir d'éclairage. Ce que vous avez, les uns et les autres, réussi à construire, ne sont que des pans d'un système que vous vous montrez incapable de penser. Vos compétences techniques ne sont pas des compétences politiques, et au contraire, sont de nature à obérer vos capacités de jugement. Cela devrait appeler tout un chacun à plus d'humilité. Et vous amener à vous interroger sur ce qui vous fait défendre un des hommes les plus puissants de la planète, qui vient d'insulter, de façon successive, un homme puis les milliers de personnes qui le lui avaient reproché.
2
1
41
17,742
⚡️⚡️⚡️
I ran tokenizers v1 in my browser with wasm It's fast afffff ⚡️💥 check it out: hf.co/spaces/sbrandeis/token…
1
8
794
all gas no brakes
Tokenizers v1's first release candidate is out 🔥 absolutely huge release across the board: Up to 30x faster tokenization, rivaling the best in the ecosystem. Scaling across threads, much better latency, less memory consumed, and microscopic crate size. huggingface.co/blog/tokenize…
1
1
15
1,213
crazy news to receive on your birthday 💚 🤝 💛
20
5
147
16,986
Head of infra: decides to go on holiday OpenAI: how about no kudos to our 🐐 infra team that handled this like pros, even when *some* were OoO 🫶
Hardest IR of my career: one narrow objective, endless parallel paths, machine speed. One takeaway, we fought back with open models, in the open. AI security won’t be solved by one company in secret. Open source puts these tools in every defender’s hands
2
2
66
8,893
perf packed release: safetensors 0.8.0 is out ⚡️ Main takeaways: - direct copy into metal MTLBuffers + dlpack for 0-copy hand-off to target framework (only torch for now) -> 2-3x perf improvement + fixes OOMs loading models that are around the limit of unified memory on macOS when loading with transformers - GIL-free serialization, enabling multi-threaded saves from Python -> 1.2x to 2x faster for single files, but you can expect more improvement when saving multiple files in parallel! Check the release notes for the full list of improvements!
3
2
24
7,449
Wait? Is this a win for the MoE doomers? We are so back!
3
433
this is the way
Reading @deepseek_ai 's v4 paper.... absolute hats off. Every problem has a mathematical solution, nothing is left to chance. I have so much respect for them, putting out months or years of efforts entirely for free, in the open for anyone to benefit. Real goats 🫡
3
434
🐐 Feel free to drop some more gems in safetensors 🫡
This quoted post is unavailable.
4
526
Arise, Sir Ilyas, Knight of the Upper Dims
Tri Dao praised my PR 😳
5
489
👁️👄👁️
5
427
First release of safetensors under the PyTorch Foundation umbrella! 0.8.0-rc.0 is out: - GIL-free serialization - Windows ARM64 wheels - AMD FP8 FNUZ support - little perf improvements here and there ✨ Would appreciate feedback if you feel inclined 🥹
1
2
9
661
Big moment for open source ML: safetensors is joining the PyTorch foundation! This means first class citizen support for safetensors in PyTorch’s core library, amongst other things 🥹 Super proud of being a maintainer in such an essential tool for ML 🫡
1
7
17
1,042
I seem to have found somewhat of a sweet spot. Talk into Claude for the ideation phase, write down the plan, and do everything by hand myself, apart from tests maybe, who likes writing test amiright I question / rework / ignore everything written in plan as it often misses the target, but it does help me think through the problem in great detail. I go from one big plan to smaller in depth plans for each substep which works quite nicely. Co-ideating with Claude keeps the fun alive imo, so long you ask it to tweak / give feedback on your original ideas and have vision for what you want to do. It kind of feels like pair programming!
Programming was deeply satisfying work to me. Work for hours/days before getting the payoff of the code working well on your machine. I’m feeling so much friction now to open the editor and do this kind of task by hand, but also increasingly depressed with the nature of work in an AI assisted dev workflow. Back and forth prompting seems to eat at my soul. Need to find a balance that brings back some of the toil.
1
394
safetensors save_file on mac go brrrr ⚡️ been working hard these last few weeks on trying to make safetensors loading & writing faster found that skipping the os page cache with `F_NOCACHE` for write operations yields about 30% speed improvement more coming up, stay tuned
1
6
497
fun 🦀 fact: you can nuke performance with a misplaced `ok_or`
2
1
11
1,127
🥺🥺
🪦text-generation-inference is now in maintenance mode. Going forward, we will accept pull requests for minor bug fixes, documentation improvements and lightweight maintenance tasks. TGI has initiated the movement for optimized inference engines to rely on a transformers model architectures. This approach is now adopted by downstream inference engines, which we contribute to and recommend using going forward: @vllm_project, @sgl_project, as well as local engines with inter-compatibility such as llama.cpp or MLX.
2
764