Yhonatan Shemesh retweeted
Fascinating! When participants are presented with arguments involving fMRI data, they showed less activity in an area of the brain associated with rational reflection.
Yhonatan Shemesh retweeted
Brexit is a rare forecasting laboratory.
Few political decisions generate so many explicit predictions, so clearly dated, and so easily compared with reality a decade later.
The results are revealing.
1/5
pif.bgu.ac.il/wp-content/upl…
Yhonatan Shemesh retweeted
📢New preprint alert📢
When Crowds Fail: Predicting Failures in Collective Wisdom through Discourse Cues
We used psychologically-informed feature extraction from texts to predict wisdom of the crowds in geopolitical forecasting (using @metaculus forecasts). In a pre-registered analysis on a hold-out, our model was able to predict Wisdom of the Crowds failures pretty well (r = 0.535). This cool work was led by Maayan Pe'er, see link in first comment.
Yhonatan Shemesh retweeted
Excellent essay - recommend
Social media undermined expert authority, democratized public debate, and steered individuals into evermore bespoke conceptions of reality.
But AI could reverse these trends. As @danwilliamsphil and @dylanmatt argue, LLMs appear to be a "converging" and "technocratizing" technology -- one that increases expert influence and social consensus.
This is partly because AI companies and social media firms have radically different business models: vox.com/technology/483455/ai…
Yhonatan Shemesh retweeted
The God Debate: Ross Douthat v. Steven Pinker
Can a post-God society survive? THE GOD DEBATE is out now on The Free Press and Paramount+.
@SAPinker faces off against @DouthatNYT, moderated by @WhigNewtons.
Watch it now: thefp.com/p/debate-do-we-nee…
Yhonatan Shemesh retweeted
New essay! When it comes to thinking about the impact of LLMs like ChatGPT, Claude, Gemini, and even Grok on public opinion, I argue that they function as a kind of anti-social media.
Whereas social media has been democratising, epistemically diverging, engagement-optimised, and performative, LLMs are "technocratising", epistemically converging, accuracy-optimised, and polite.
conspicuouscognition.com/p/h…
Yhonatan Shemesh retweeted
The Brier score is the standard metric for evaluating forecasting accuracy. But it has a major drawback: it’s difficult to interpret and communicate.
For example, superforecasters have a Brier score of 0.086 on ForecastBench, our AI forecasting benchmark.
Technically, this means that on average superforecasters are “0.086 squared probability units from the truth.” Confused? You’re not alone.
We propose a simple fix: the Brier Index. 🧵
Yhonatan Shemesh retweeted
האם ניתן לחזות את העתיד באמצעות בינה מלאכותית? בהנחיית @Michael_Gilead, פיתחתי יחד עם @yshemesh תשתית שמאפשרת למערכות AI לדמות תהליכי חשיבה של מומחים, וכך לחזות תרחישים גאופוליטיים.
haaretz.co.il/magazine/2025-…
Yhonatan Shemesh retweeted
כתבה השער של מוסף סופ"ש של הארץ עוסקת בעולם הניבוי הגיאופוליטי ובמחקרים שלנו (@Professologue, @yshemesh, מעיין פאר, יהונתן קפלן, הילה שיניצקי). הכתבה של גדעון לב מאוד מעניינת באופן כללי, ומדווחת על תמורה היסטורית משמעותית שאנחנו נמצאים במהלכה.
haaretz.co.il/magazine/2025-…
Yhonatan Shemesh retweeted
הנה כמה מהניבויים בתחרות הניבוי הגיאופוליטי שלנו - יש עוד כמה ימים בודדים לענות על השאלות ולהשתתף במחקר ותחרות נושאי פרסים.
אנחנו מנסים לזהות נבאי-על (superforecasters) - אנשים שמצטיינים בניבוי כמותי, כדי שנוכל להמשיך ולחקור את הגורמים שמאפשרים להם להצטיין.
שימו לב שניתן לעדכן את התחזיות שלכם עד סוף התחרות, כך שאין מניעה לנבא כבר עכשיו, ולעדכן בימים הקרובים במידה ויהיו התפתחויות.
ניבויים מעניינים נוספים: 50% סיכוי שבחודשיים הקרובים 8 חטופים יחזרו. 20% להתחדשות הלחימה מול איראן. וכו'.
app---98d8ae29.base44.app/Ho…
Yhonatan Shemesh retweeted
במסגרת מחקר באוניברסיטת תל אביב.
📢תחרות ניבויים חדשה📢
האם חזבאללה יתפרק מנשקו? האם תתחדש הלחימה עם איראן? ומה הסיכוי שתיפול הממשלה?
אנחנו משיקים את מבט-על, קהילת חכמת ההמונים הראשונה בישראל. מוזמנים להשתתף בתחרות שמתחילה *היום*, לגלות כמה אתם באמת טובים בחיזוי, ולזכות בפרסים. בואו!
app---98d8ae29.base44.app/
Yhonatan Shemesh retweeted
יאללה, קדימה - נראה אתכם מצליחים לפגוע (ואולי לזכות בפרסים?)
📢תחרות ניבויים חדשה📢
האם חזבאללה יתפרק מנשקו? האם תתחדש הלחימה עם איראן? ומה הסיכוי שתיפול הממשלה?
אנחנו משיקים את מבט-על, קהילת חכמת ההמונים הראשונה בישראל. מוזמנים להשתתף בתחרות שמתחילה *היום*, לגלות כמה אתם באמת טובים בחיזוי, ולזכות בפרסים. בואו!
app---98d8ae29.base44.app/
Yhonatan Shemesh retweeted
אנא שתפו! התחלנו מחקר חדש בפורמט תחרות ניבוי נושאת פרסים. המטרה היא לנבא את אירועי החדשות בישראל בחודשיים הקרובים. 25 שאלות מעניינות שיאפשרו לנו לזהות אם אתם נבאי על (superforecasters) בפוטנציה.
📢תחרות ניבויים חדשה📢
האם חזבאללה יתפרק מנשקו? האם תתחדש הלחימה עם איראן? ומה הסיכוי שתיפול הממשלה?
אנחנו משיקים את מבט-על, קהילת חכמת ההמונים הראשונה בישראל. מוזמנים להשתתף בתחרות שמתחילה *היום*, לגלות כמה אתם באמת טובים בחיזוי, ולזכות בפרסים. בואו!
app---98d8ae29.base44.app/
Yhonatan Shemesh retweeted
אם הייתה לכם יכולת לראות את העתיד, ולדעת עכשיו מה הולך להיות בחדשות עד אוקטובר 2025, מה הדברים שהכי הייתם רוצים לדעת?
אני שואל כי אנחנו משיקים בשבוע הבא תחרות ניבוי חדשה, במסגרת פלטפורמה שאנחנו בונים למחקר בנושא ניבוי גיאופוליטי.
אנחנו בשלב של סיום גיבוש השאלות, ונשמח לרעיונות לשאלות חשובות.
כמובן, יהיו שאלות על עסקת חטופים, סיום המלחמה, נורמליזציה - אבל יש לנו מקום לעוד שאלות, בעיקר בתחומי כלכלה, חברה, פוליטיקה. אנחנו מתעניינים אך ורק בדברים שקשורים לישראל או שיש להם השלכות ברורות לישראל.
התחרות תהיה נושאת פרסים כספיים, והמטרה שלנו היא לזהות "נבאי על" (superforecasters) למחקרי המשך.
בנוסף, אם זה מעניין אתכם, ורוצים להיכנס לרשימה שנעדכן אותה לגבי התחרות, מוזמנים להגיב/לתייג אנשים כאן למטה, או לשלוח אימייל [email protected].
Yhonatan Shemesh retweeted
Preprint
The Inscrutability of AI Systems – A Constructivist Perspective
Where I claim LLM don’t understand, despite appearances and glib language, and what needs to happen to change this.
papers.ssrn.com/sol3/papers.…
Yhonatan Shemesh retweeted
New paper out today: Can the words NBA players share on X foretell which of them will pick up technical fouls? Our (@MaorLevitin et al.) preregistered study puts that question to the test.
Why this matters: Trait theorists and situationists debate whether stable personality traits still matter when the stakes are high and behaviour is tightly scripted. If language-derived trait scores can forecast a split-second loss of control during an NBA game, traits remain influential even under strong situational guidance.
Data & pipeline: Up to 3,200 public X posts per player from 252 English-speaking athletes (2012–2021). An open-vocabulary NLP model (developed by @LyleUngar) produced Big-Five scores. As preregistered, a radial-kernel support-vector regression with leave-one-player-out CV tried to predict tech-fouls-per-minute.
Predictive performance: The preregistered analysis showed significant albeit modest predictive accuracy (r = .18, ≈ 59 % BESD). Effects were likely non-linear: lower Agreeableness and higher Neuroticismseemed to raise tech-foul risk, whereas higher Conscientiousness seemed to lower it.
Broader view: Superstar athletes provide an innocuous “toy model” for examining the privacy and profiling issues that arise whenever everyday language is mined for behavioural prediction—lessons that extend well beyond the court.
This work was led by the amazing @MaorLevitin (for questions: [email protected]) with Itamar Zan Ger, @zeevsov, @arieltaieb1, and Prof. @LyleUngar.
You can read it here:
nature.com/articles/s41598-0…
This research is part of a broader work in our lab, trying to better understand the predictability of human behavior.
For an overview of this work:
cris.tau.ac.il/en/publicatio…
Yhonatan Shemesh retweeted
Check out Inon's awesome paper, where he literally threw people off a plane to study mental time travel. "The Future, Before and After: Bayesian and multivariate analyses reveal shared and unique neural mechanisms of imagining and remembering the same unique event"
🚨Thrilled to share our new study in Cerebral Cortex🚨: "The Future, Before, and After" The ability to imagine things we haven’t done before is one of the hallmarks of human cognition. How do we do it?
academic.oup.com/cercor/arti…
Yhonatan Shemesh retweeted
Philiipp Schoenegger et al extend work on the wisdom of crowds of human forecasters to crowds of silicon (LLM) forecasters
Philipp is a creative & generous collaborator--and there are so many ways to build on this work.
This Post is from an account that no longer exists. Learn more
Yhonatan Shemesh retweeted
לא מזמן התגלה "הראשוני הגדול ביותר", 2 בחזקת 136,279,841 פחות 1, ויחד עם הגילוי הגיעו כרגיל האנשים שרומזים בידענות שהקהל הרחב והנבער בכלל לא מבין את עומק החשיבות של הגילוי הזה, אז אני אנסה כמיטב יכולתי ועל בסיס הידע המוגבל שלי לתקשר את החשיבות של הגילוי הזה:
אין כזו.
למה? >
Yhonatan Shemesh retweeted
1/ Can Large Language Models (LLMs) truly reason? Or are they just sophisticated pattern matchers? In our latest preprint, we explore this key question through a large-scale study of both open-source like Llama, Phi, Gemma, and Mistral and leading closed models, including the recent OpenAI GPT-4o and o1-series.
arxiv.org/pdf/2410.05229
Work done with @i_mirzadeh, @KeivanAlizadeh2, Hooman Shahrokhi, Samy Bengio, @OncelTuzel.
#LLM #Reasoning #Mathematics #AGI #Research #Apple



























