names cast the spell, fate seals the deal
Joined August 2022
- Tweets19.8K
- Following1.4K
- Followers1.5K
- Likes71.4K
小镇做题家模型，死😁
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B 蒸 3-5T 效果很差，还得靠扎实的预训练；但训 3-5T 模型至少需要几万张B卡，最后竞争还是算力😆
现在靠蒸馏，差距大约是 3–4 个月；反蒸馏生效后，会拉到约 12 个月；如果美国头部几家明年都是 RSI，差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」，50 个研究员只能开 50 条线，RSI 之后训练线数只由算力决定 ...
半部姨学治天下😲
Kudurduğun o haritanın sağ altındaki Zhuxia yazısına bak, o haritayı Türkler değil bizzat sizin Çinli tarihçiniz Liu Zhongjing çizdi ama dünyadan haberin yok.
Jiangxi Ganzhou'lu bir Hakka olmakla övünüyorsun daha kendi adın olan Hakka kelimesinin Çincede Yabancı Misafir demek olduğunu, kuzeyde göçebelerden dayak yiyip güneye kaçtığınızda yerli halkın sizi istemediğini ve Punti-Hakka savaşları ile Taiping İsyanı'nda milyonlarca Hakka'nın doğrandığını bilmiyor musun? Bir de Komünist Parti olmasaydı dedemi Kuomintang askere alacaktı diye sevinmişsin. 1930'larda senin memleketin Gannan'da kurulan Jiangxi Sovyeti sırasında bizzat Komünist Parti AB Birliği temizliğiyle on binlerce Gannan Hakka'sını işkenceyle öldürdü, bütün genç erkeklerinizi zorla Kızıl Ordu'ya alıp Uzun Yürüyüş'te harcadı ve 1934'te sizi yüzüstü bırakıp kaçtı 😂😂 Bugün Ganzhou'da kendi anadilin olan Hakka dili bile okullarda bitirildi ve çocuklarınıza zorla Mandarin konuşuluyor, kendi celladına aşık olmuş bir köle olduğun için sömürgeleştirildiğini fark etmemen hiç şaşırtıcı değil.
