Eren

günün paper'ı: "titans: learning to memorize at test time" google research'ten bir grup araştırmacı oturmuş demiş ki: "ulan bu transformer ve attention'ı bulduk ve güzel de çalışıyor ama context window büyüyünce sıçıyor, buna bir çözüm bulmamız lazım. napsak acaba?" oturup kafa kafaya verip çalışmaya başlamışlar. ve böylece günler ayları aylar da yılları getirdi. hun yiğitlerinin müstakbel komutanı küçük tarken körpe bir çınar gibi serpilip gelişt.. bi dakika yanlış oldu. günler günleri aylar ayları kovalamış. lab'da sabahlamalar, gpu kemirmeler, cuda çıldırmacalar derken sonunda bu abilerimiz titans'ı geliştirmişler. detaylarını anlatmadan önce mevcut dil modellerinin context'i nasıl işlediğine bakalım: chatgpt, llama, gemma gibi modellerin temelinde transformer yapısı var. tek cümleyle açıklama gafletine düşersem eğer şöyle derim: her tokeni yani kelimeyi diye düşünebilirsiniz, diğer tüm token'larla ilişkilendiriyor. e bu da hafıza ve hesaplama açısından quadratic bir artış demek. yani contextini 2 katına çıkardığınızda, maliyet 4 katına çıkıyor. bu da hesaplama ve büyük model eğitiminde çok büyük bir maliyet demek. son dönemlerde bu sorunu çözmek için iki farklı yaklaşım öneriliyor: - linear transformers: yani mamba, retnet gibi modeller. bunlar attention'ı lineer hale getirmeye çalışıyor. - hybrid modeller: yani transformer + başka bir şey bu arkadaşlar da diyor ki, bunlar iyi ama bize daha sezgisel ve doğadan ilham alan bi şey lazım. ve tabii ki napıyorlar, muhteşem bir düzenin olduğu muazzam yapıların ve canlıların huşu içinde yaşadığı doğaya bakıyorlar ve diyorlar ki: insan da bu doğanın parçası ve insan beyni güzel çalışıyor. öyleyse ona benzetmeye çalışalım. iyi de insan beyni nasıl çalışıyor? daha spesifik olarak hafızası nasıl? kabaca şöyle diyorlar insan hafızası için: - short-term memory: çok doğru ama kısa süreli (30 saniye) - long-term memory: daha uzun süreli ama seçici bu arkadaşlar da diyor ki, "ee ulan zaten bizim elimizde attention vardı, yani aslında biz short-term memory'i yapmışız. peki buna long-term memory'i nasıl ekleyebiliriz?" ve işte titans'ı geliştiriyorlar. titans, yeni bir mimari ve üç ana bileşenden oluşuyor: -core: kısa süreli hafıza gibi çalışan, sınırlı context kullanan attention mekanizması - long-term memory: uzun geçmişi hatırlayabilen neural memory module - persistent memory: göreve özel bilgileri tutan parametreler bu memory modülü, kısaca şöyle çalışıyor: 1) training data'yı ezberlemek yerine, test zamanında neyi nasıl ezberleyeceğini öğreniyor, buna da meta-learning deyyorlar. 2) öyle celal şengör gibi her sikimi de bilip ezberlemesin diye, sadece "surprising" yani şaşırtıcı olan şeyleri ezberlesin diyorlar. bana ne ulan 1875'te viyana devlet kütüphane müdüründen, dimi aq? neyse. aşağıdaki görselde gösterildiği gibi iki tür "surprise" mekanizması öneriyorlar: - momentary surprise: şu an gelen bilgi ne kadar şaşırtıcı, - past surprise: geçmişteki şaşırtıcı bilgilerin etkisi buna ek olarak aşağıdaki görselde gösterildiği gibi bir de "forget" mekanizması var. yani hafıza dolunca bazı şeyleri unutabiliyor. bunu da weight decay ile yapıyor. son olarak aşağıdaki görselde de gösterildiği gibi tüm bunları paralel olarak yapabiliyor. yani hız açısından da efficient. bu kumaş pantolonlu feyyizli abiler yeni mimarinin üç farklı versiyonunu yapmışlar: - context olarak (mac): yani hafızadaki bilgiyi context'e ekliyor - head olarak (mag): yani attention head'i olarak kullanıyor - layer olarak (mal): yani ayrı bir katman olarak kullanıyor ee tamam olum anladık, bi şeyler yapmışlar da bunun performans nasıl? kısa cevap: baya iyi olum. özellikle mac versiyonu uzun context gerektiren babilong benchmark'ında gpt-4, llama3 + rag ve llama3-70b gibi devasa modelleri bile geçiyor. üstelik 2 milyon token'lık context'lerde bile çalışabiliyor. bu arada model boyutları da şöyle: 170m, 340m, 400m ve 760m parametreli modeller var. en büyük modeli 30b token üzerinde, diğerlerini 15b token üzerinde fineweb-edu dataset'i ile eğitmişler. tüm bunları özetleyecek olursam şöyle diyebilirim aslında: adamlar yeni bir mimari ailesi geliştirmişler. attention'ı da kullanıyorlar ama onu farklı bir şekilde, sadece kısa vadeli hafıza olarak görüyorlar. yani: - attention: kısa vadeli ama çok doğru işleyen bir hafıza - neural memory: uzun vadeli ve seçici bir hafıza yani insan beynine benzetmeye çalışıyorlar. son ek olarak, adamlar diyor ki, kardeşim isveç çakısı yaptık biz aslında. çünkü al bunu hem dil modelinde kullan, hem dna modellemesinde kullan istersen de time series'de kullan. hatta son olarak istersen maklube yapımında kullan.