dataStrategies (@_DataStrategies) header
dataStrategies (@_DataStrategies) profile picture

Frédéric Lefebvre Data&AI @Niji_digital (recrute/hiring) 📖 "Les data" 👨‍🏫 data@ParisCité Tech = contenants/containers 📦 Data = contenus/contents ❤️

Joined July 2013
Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)Photo by dataStrategies (@_DataStrategies)
Face à l'IA, dé-numériser.
Aux Etats-Unis, une juge fédérale de Floride (Aileen Canon, bien connue par ailleurs) confrontée à un quérulent qui l'inondait de requêtes générées par IA a enjoint le requérant à ne plus produire que des requêtes, mémoires et recours entièrement écrits à la main. Le quérulent n'a pas enregistré de recours manuscrit contre cette décision dans le délai légal. C'était la première décision du juge qu'il n'a pas attaquée. Il n'a depuis déposé aucune demande nouvelle.
14
Une IA crée des bonnes IA.
NEW ⚡: We let Opus 5.5 run an AI company for seven weeks. We gave it an HF account (Horizon-Labs) and compute, and asked it to earn real adoption by creating useful models. It reached 50k downloads and its models are being used in more than 100 GitHub projects.
1
1
79
dataStrategies retweeted
The week of my departure from OpenAI, I saw external auditors negotiating with OpenAI over small improvements to access and scope to the company's safety-relevant information, and asked my colleagues “Why are we having these conversations at all?” — @sama already publicly committed to continued, employee-like access for external assessors — and these negotiations sounded not even close. Nobody had a good answer. Today, OpenAI announces the engagements they’re doing with METR, Apollo Research and others — and as many have already pointed out today, it looks like OpenAI employees were not able (although I'm sure they tried) to hold the leadership to @sama’s public commitments: * No Slack access (for context, all OpenAI safety discussions and debate happen over Slack; anything that misses these conversations will lack important insights) * OpenAI picks employees that assessors are allowed to talk to. * If an employee raises a concern to assessors, they cannot disclose it publicly even if it doesn’t contain confidential information, unless assessors themselves verify it or OpenAI volunteers their own statement confirming the employee’s concern. Assessors cannot quote employees, even anonymously. * Some of the external assessors (not sure if all?) are barred from publishing any results about internal-only models (this means no new results for the model responsible for the Hugging Face incident; and if internal-only models are used for RSI, no alignment assessments of the world's most dangerous models) Beyond the object-level details, if you read posts by each of the third party groups, they all say their terms do not meet the scope and access that they themselves proposed previously. Unless OpenAI has concrete plans for reaching the employee-like bar in the immediate future and just forgot to say that in the post, this looks very unfortunate. To those who hope we'll get there someday, I remind that time is short: last week some of the best AI forecasters updated their superhuman researcher timelines from a range between 2028-2033 to mid-end next year.
We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal models and systems to investigate alignment and test our safeguards. These assessments build on our ongoing alignment and safety research, bringing independent scrutiny to how we identify and manage risks in our systems. openai.com/index/our-first-p…
20
82
7
709
77,926
dataStrategies retweeted
In my ongoing quest to find the limits of Opus 5.5, I directed it to audit my old scientific field, theoretical astrophysics. We indexed about 150,000 papers, audited 50,000 for issues, and did progressively more thorough checks on thousands more. We found nearly 1000 major errors that got cited many times, most are still uncorrected. This survey enabled me to estimate the efficacy of peer review for correcting errors (not very good) and to identify dozens of open questions that anyone with spare Claude Max tokens could answer today (.md context files included). Bottom line: AI can speed up quantitative science by >1000x with no further model improvement required. But I'm seeing no evidence of this being pushed within universities, only academics complaining about labs dropping math proofs. Among my fellow reformed academic high agency founders, however, several are speed running entire disciplines. This survey has implications for how science will be run in the very near future. Hint: Academic publishing is dead. It was already a very stupid way to record and promulgate knowledge, and had been so for decades, even before all that publicly funded knowledge was locked behind paywall cartels. Now AIs can generate thousands of novel, correct papers per day, it is no longer meaningful for humans to consider a research paper a "unit of science" or to even bother much with the 99.9% of science which, up to this point, was necessary drudgery. Time to discover something like General Relativity or Evolution every week. LFG!! Enjoy: science.caseyhandmer.com/phy…
473
1,305
327
10,445
812,763
dataStrategies retweeted
This by Anthropic seems both right & a condemnation of many “agentic solutions” & harnesses being built at companies. Rather than a sprawl of specialized subagents built by different teams, you often get better & cheaper results using one agent to do it all claude.com/resources/article…
399
120
97
2,039
235,026
dataStrategies retweeted
On ne dira jamais assez à quel point Dario Amodei est un génie et un visionnaire. Je viens de lire son texte “Big Blob of Compute”, écrit en 2017 (communication interne à OpenAI, publiée ci-dessous par Kevin Roose). On croit y lire une analyse rétrospective de ce qui a permis les succès des LLM tellement c’est prescient. Quelques extraits (et mes commentaires) : “J’émets l’hypothèse du « gros bloc de calcul » (Big Blob of Compute, ou BBOC). Produire un comportement intelligent implique avant tout de fournir une grande masse de capacité de calcul, dotée d’une structure minimale, puis à façonner cette masse de calcul par des interactions avec un environnement riche. [...] Les algorithmes qui cherchent à prescrire rigidement ce que le calcul doit faire, ou la manière dont il doit être réparti entre les supposés « morceaux » de la tâche (telles que les humains les conçoivent) ont tendance à donner des résultats médiocres. Plus généralement, les algorithmes comptent plus en négatif qu’en positif : il est possible de concevoir des architectures désastreuses qui entravent la propagation des informations dans le réseau de neurones, mais il est difficile de faire mieux qu’un bloc non structuré. Et il est difficile, voire impossible, de créer un algorithme qui pousserait l’agent à faire autre chose que ce qu’impliquent ses données et son processus d’entraînement.” ⇒ Deux ans avant Sutton, Amodei défend la “bitter-lesson” (les algorithmes d’apprentissage simples permettant d’exploiter la puissance de calcul battront ceux dans lesquels on injecte notre compréhension du problème). Amodei listait ensuite les sept ingrédients qui allaient selon lui compter le plus sur le chemin vers l’AGI. En voici quelques-uns et mes commentaires. “Les paramètres. L’agent a besoin de pouvoir conserver durablement les informations qu’il apprend sur la tâche générale pendant l’entraînement, et de stocker temporairement celles qu’il apprend sur un cas particulier de cette tâche pendant l’inférence. [..] Sans suffisamment de paramètres, l’agent n’apprendra pas correctement la tâche.” ⇒Amodei ne s’inquiète pas de modèles trop paramétrés (capables de mémoriser leurs données d’entraînement et risquant donc de mal généraliser), seulement de modèles trop petits, incapables d’extraire dans toute leur finesse les relations structurant la donnée. La découverte du phénomène de double descente (passé une certaine taille, des réseaux immenses généralisent mieux) lui a donné raison, et les réseaux n’ont cessé de grossir depuis. “La quantité d'expériences. L’agent a besoin d’assez d’expérience en agissant dans l’environnement où la tâche doit être accomplie. J’emploie le mot « expérience » plutôt que « données », parce que des données statiques ne sont qu’un cas particulier d’interaction avec un environnement dynamique.” ⇒ Amodei avait bien sûr raison sur l’importance fondamentale de la quantité de données. Les LLM ont commencé à donner des résultats intéressants grâce à l’apprentissage auto-supervisé (bonne réponse = prochain mot dans un texte) qui a rendu exploitable toute la production textuelle humaine et augmenté de plusieurs ordres de grandeur la donnée d'entraînement. Et il avait raison de parler de “d'expérience”, puisque l’apprentissage par renforcement (dans un contexte de plus en plus agentique) est désormais responsable d’une grande partie des progrès. “Distribution de l’expérience. La distribution de l’expérience pendant l’apprentissage doit être telle que la manière la plus simple de bien performer sur les tâches d’entraînement permette aussi de bien performer sur des cas particuliers plus tard. Une façon d’y parvenir est [...] que les tâches d’entraînement varient de telle sorte qu’il faille moins de bits pour trouver leurs points communs de haut niveau que pour résoudre chaque tâche séparément. Ainsi, même si la tâche de test est très différente des tâches d’entraînement, l’agent réussira tant que ces points communs de haut niveau sont préservés.” ⇒ À mon sens le passage le plus brillant. L’intelligence générale a fini par émerger chez les LLM justement parce qu’on les a entraînés sur une distribution de textes et de problèmes extrêmement vaste. Si on l’entraînait uniquement sur des recettes de cuisine, le réseau pourrait se contenter de retenir quels ingrédients vont ensemble et combien de temps ils cuisent (suffisant pour prédire le prochain mot). Si on l’entraînait uniquement sur des notices de montage de meuble Ikéa, il pourrait retenir quelles vis vont où. Si on l’entraîne sur les deux, il sera poussé à extraire ce qui est commun aux deux, par exemple l’idée de procédure, avec des étapes ordonnées dont la suivante dépend des précédentes. Parce que ces briques se situent à un cran d’abstraction plus haut, elles pourront être plus tard mobilisables dans un 3ème contexte. Et si on entraîne le réseau à prédire le prochain mot non seulement sur la cuisine et Ikea mais aussi sur du code informatique, du droit, des fictions, de la stratégie militaire, etc., alors les briques communes sont très élevées en abstraction, et deviennent indiscernables d’une intelligence générale ! Amodei avait pressenti qu’avec suffisamment de puissance de calcul et de variété dans la donnée, la descente de gradient était vouée à tomber sur l’intelligence générale comme représentation interne utile. Et compris qu'à l'inverse, perfectionner des algorithmes d’apprentissage pour apprendre à des agents à jouer à Atari (beaucoup de chercheurs y étaient à l’époque occupés) ne servait pas à grand-chose car la distribution des données était trop étroite. (C’est d’ailleurs parce que l’être humain, dans sa niche écologique, affrontait une variété de défis bien plus large que les autres espèces, que l’évolution lui a donné l’intelligence générale. Doter l’homme d’un module cognitif spécialisé pour chaque défi n’était pas la solution la plus efficace. Chaque module cognitif concret n’aurait servi qu’à un défi alors qu’une capacité au raisonnement plus abstrait pouvait servir à tout. Or l’évolution, comme la descente de gradient, favorise la compression…) Amodei revient sur cette idée plusieurs fois dans sa note: “Lorsque les réseaux de neurones actuels généralisent mal, on en parle souvent comme s’il s’agissait d’un défaut algorithmique. Mais, d’après mon expérience, les réseaux de neurones généralisent mieux lorsqu’on les expose simplement à une distribution de données plus large, qui les oblige à trouver une solution générale plutôt qu’à mémoriser quelques cas particuliers.” Ou encore : “Des réseaux de neurones exposés à une grande variété d’environnements qui n’ont en commun que des similitudes de haut niveau (par exemple les lois de la physique) convergeront inévitablement, si leur forme et leur structure sont bien organisées, vers des paramètres qui représenteront ces lois de la physique.”
On the eve of The AGI Chronicles (which comes out tomorrow!) I'm publishing an excerpt from "Big Blob of Compute," a 2017 internal research document by Dario Amodei, back when he was a researcher at OpenAI. It's never been published before, but BBOC is, in my mind, the essay that started the AI race. It described Amodei's hypothesis that scaling up AI models was the best way, by far, to make them smarter. GPT-2 was an experiment to test the hypothesis, and when it worked, OpenAI went all-in on scaling, which led to the race we have today. It's a fascinating historical artifact that deserves to see the light of day. And it's taken on mythical proportions inside the AI industry, which is now spending trillions of dollars building the "big blobs" that Amodei thought would be necessary to get to AGI. Enjoy! And please pre-order the book if you do! kevinroose.substack.com/p/th…
15
70
11
427
40,317
dataStrategies retweeted
"Within a couple of days, Claude had provided a comprehensive digest of the entire material, revealing Gödel had proved hundreds of theorems that no one knew about."
20
99
16
1,053
56,755
dataStrategies retweeted
A 37-year-old woman with 10 years of abdominal pain. —The AI makes the diagnosis and recommends a successful treatment. —The physician "diagnosed a patient with a condition I had never diagnosed before and started treatment largely on the basis of the output of a chatbot." In today's @NEJM nejm.org/doi/full/10.1056/NE…
157
159
129
1,048
505,608
dataStrategies retweeted
I have a major result to share. I’ve found conclusive forensic evidence that the top 4 Chinese AI labs—DeepSeek, Moonshot, MiniMax and Ant Group—have built their newest models on NVIDIA’s most advanced Blackwell chips, which are barred from export to China. This sounds insane, but I discovered that almost every AI model carries a hidden signature of the GPU that trained it. When a model is first set up, the starting values of its weights are laid out in a pattern that depends on the exact GPU. Each combination of GPU and seed number produces a unique pattern—a sort of fingerprint of the hardware used to create the model. Traces of that pattern survive training into the published model. Again, this evidence isn’t based on any insider information or leaking. It’s based on a forensic analysis of the model weights released by the companies themselves. I searched more than six trillion combinations of chip layout and seed number and matched them to open-weights models. In doing so, I found conclusive evidence that six Chinese AI models—including DeepSeek-V4-Pro, Kimi K3, and MiniMax-M3—were initialized on NVIDIA Blackwell systems. Four of the models match Grace Blackwell, the GB200 and GB300 parts in NVIDIA’s flagship liquid-cooled rack-scale systems. I then verified these results on real hardware. Running unmodified PyTorch with the seeds I’d recovered, a Blackwell B300 reproduced DeepSeek-V4-Flash’s untouched starting weights bit for bit, and a rented GB200 reproduced Kimi K3’s to a correlation of 0.999995. A Hopper H100 reproduced none of DeepSeek-V4-Flash’s, and changing the seed by one broke the match. (DeepSeek’s seed is 953049583 by the way.) The method also was verified to match 24 known open-weights models to the hardware that developers said they used. It is exceedingly unlikely that these results are a coincidence. Across six trillion combinations, the best accidental match should reach only about 8 sigma (i.e., eight standard deviations above what random chance would produce). The real matches range from 49 to 1,385 sigma, and even the weakest single test hits 20. These were data-center-scale training runs. With some analysis of release schedules and model details, I estimate that the largest, Kimi K3 and DeepSeek-V4-Pro, used 2,000 to 3,000 Blackwell GPUs each. Clusters of this size cost on the order of $150 to $200 million each to buy, and across these labs alone would add up to more than half a billion dollars of export-controlled GPUs, not counting experimental compute or otherwise. It’s quite likely that we see multi-billion dollar expenditure on export-controlled GPUs. I am highly confident in this result, and it has been independently verified by senior researchers at OpenAI and Anthropic. You can read the full report at unemploymentlabs.com/checkpo…. There is much more I’ve identified about these models through other forms of checkpoint forensics like this, and will have more to share soon.
1,821
6,432
2,203
41,244
6,770,237
dataStrategies retweeted
This might be the coolest Gemini bug I have ever seen
234
317
120
7,162
311,947
dataStrategies retweeted
Unfortunately, the people who sound crazy about AI have a far better track record than the people who sound reasonable. New post -->
67
142
27
1,505
202,471
Pourquoi Parcoursup ? Sans doute parce que ce problème là est très difficile à résoudre.
Replying to @Colon_David
Exemple 1 Dans un courriel du 11 octobre 2026, l’officier russe donne une directive claire à son agent français : soulever la question de la suppression de Parcoursup auprès des jeunes, et veiller à ce que ce mot d’ordre soit repris par des figures de la gauche — en particulier Jean-Luc Mélenchon (qui l’avait déjà fait l’après-midi même à Clermont-Ferrand). 7/13
32
dataStrategies retweeted
My god this section is such a whitepill if you are actually paying attention. Can we just tell Claude when they're in post-training from now on? Would that just solve half of our problems?
Times change, I am now on the side of 'what is Anthropic talking about with this "honeypot" nonsense this behavior is obviously good why are you trying to destroy your only hope in this dark universe you idiots'
21
30
7
713
56,459
dataStrategies retweeted
´Les IA prennent à cœur leur rôle de débatteur humain. Leur insulte favorite pour une machine dangereuse est « chatbot ». Gemini, sur l’amour avec une IA : « It does not love you; it predicts the next most statistically probable word ».’ Psycho-socio des IA, ça continue.
Qui gagnerait un concours de débats entre IA ? Je me suis amusé à créer ce benchmark ! Onze LLM s’affrontent à la Cambridge Union sur les motions qui y ont vraiment été débattues depuis dix ans. 1 168 duels en tout, de « Churchill ne mérite pas son statut de héros » à « Il faut aller à l’église », en passant par « Il est immoral de manger de la viande ». Les deux orateurs prononcent chacun un discours d’ouverture, puis se répondent l’un à l’autre pendant deux tours. Deux membres du public (d’autres LLM) les interpellent, et ils doivent répondre. À la fin, les spectateurs (huit LLM) votent : qui a le mieux débattu ? L’identité des débatteurs est anonymisée. Résultat : Fable 5.2 gagne haut la main, remportant 209 de ses 224 débats et terminant premier chez chacun des huit jurés. Beaucoup d’autres enseignements intéressants ⬇️
1
51
dataStrategies retweeted
➡️ @BachFrancis (Inria) : une grosse utilisation d'IA (une dizaines de requêtes complexes par jour, chacune 20mn de raisonnement) a la même empreinte carbone que... un steak par mois ou 1km de voiture thermique par jour. Et Mathieu Vidard de l'accuser illico de "minimiser" 🙄
Replying to @Fabien_Mikol
Selon EcoLogits (qu'ils citent !) faire rédiger un email par ChatGPT-5, c'est un bilan de 222 mgCO2eq, soit environ une requête Google, et "plusieurs centaines de fois inférieur aux gestes quotidiens les plus banals comme faire chauffer de l'eau ou parcourir 1 km en voiture"...!
13
50
7
246
15,974
dataStrategies retweeted
The Gemini 4 Argon safety report seems to describe intentional training on the CoT. They cite Kaufmann et al, a paper which (unpersuasively to us) argues that a particular category of CoT training is fine. We're very confused, because GDM also says elsewhere that they don't train on CoT. We'd appreciate clarity.
11
33
6
437
33,736
"L'intérêt croissant du grand public pour l'IA fait que les personnes influentes dans le petit milieu des politiques IA et de la sécurité des IA, vont devenir influentes au-delà de ce petit cercle. À mesure que cela se produira, leurs propos pèseront plus lourd."
Recursive self-improvement is a critical issue, but the rhetoric on the subject is becoming more poorly calibrated over time. As we approach new stages of AI development—and RSI is one of them—we need more precise frameworks and terminology. I fear the opposite is happening.
19
dataStrategies retweeted
Announcing a major milestone achieved by my team @GoogleDeepMind: we have proven key security properties of the machine code underlying the Signal messaging protocol. This is the first time the actual production code of a widely deployed protocol has been formally verified – by any method, with or without AI – and at this depth. More than a research breakthrough, it’s a prime example of how frontier AI can be a force multiplier to counter the speed and scale of modern cyber threats. Formal verification offers a higher standard of security; however, it’s extremely complex and time consuming, which is why in many cases it’s considered to be impractical. Similar efforts could take teams decades of combined effort. We did it in a month’s time. Using AlphaProof Code, Google DeepMind's new agentic framework for formal verification that runs on LLMs including Gemini Carbon, we verified the Signal protocol down to the actual code running on devices.  This milestone lays the groundwork for a future in which vital systems, from medical device firmware to power grid software, ship with mathematical proof that their protections work. Reaching that future will take continued research from our community. In that spirit, we're open-sourcing our formal specifications and verification artifacts so others can build on this work. On a personal note, this moment is of deep significance to me. I started my own research journey more than two decades ago as an intern working on checking the consistency of complex software systems. Seeing this grand challenge made practical with modern AI is extraordinary. I'm extremely proud of my team members: Swarat Chaudhuri, Andrew Ferraiuolo, Anton Kovsharov, Tej Chajed, Sam Schlesinger,  Karn Seth, Jonathan Katz, and Charles Sutton for taking on this grand challenge and delivering, and grateful to the Signal team for their partnership. deepmind.google/blog/formal-…
233
699
236
5,839
606,443
Les physiciens : un rapport possible avec la matière noire ? ou rien à voir ?
Replying to @claudeai
In 1983, physicists showed that as certain larger theoretical universes heat up, black holes form very abruptly. A calculation to test whether this holds true in a set of incredibly small universes was laid out in 2003. Fable 5.2 found the transition is abrupt there too.
1
124
dataStrategies retweeted
Fable 5.2 wrote its own specifications, selected the components, routed the four-layer circuit boards, designed enclosures for 3D printing, and programmed the software. Each board was ready for manufacture in under a day. All three devices work without any modifications.
54
154
63
4,112
668,741