bence böyle deneylerde en tehlikeli şey zarar etmekten ziyade, zarar görünce sistemi hemen kurcalamaya başlamak
çünkü slotu artırdın, pozisyonu küçülttün, sermaye ekledin derken birkaç gün sonra neyin gerçekten işe yaradığını anlamak zorlaşıyor
o yüzden ben olsam eski ayarı da simülasyonda açık bırakırdım
yeni sistem daha iyi giderse gerçekten değişiklik mi işe yaradı, yoksa market mi düzeldi daha net görürsün
Şeffaf olacağımı söylemiştim, o yüzden bunu da paylaşayım: önceki postta yazdığım +82 dolar kârı koruyamadık.
Yeni bütçeyi eklemeden önce bakiye 179 dolardan 134 dolara düştü. İlk koyduğum 100 dolara göre hâlâ %34 kârdaydık ama tepeden yaklaşık 45 dolar geri verdik. 1 Kasım’dan beri kârla kapanan işlem yok, açıktaki 5 pozisyon da toplam 33 dolar zararda.
Bence en büyük hatam az slotla büyük pozisyonlar açmak oldu. Takip ettiğim 7 liderin sadece 4’ü işlem yaptı. Ben de şansıma onların kaybeden coinlerine denk geldim. Slotlar dolunca diğer aldıkları coinlere giremedim, kötü giden pozisyonlarda takılı kaldım.
Aynı 4 liderin son 2 günde aldığı diğer coinler simülasyonda %37 civarı getiri verdi. Cüzdanları sürekli izliyorum, sistem de işlemleri simüle ediyor. Slotlar yüzünden kaçırdığım işlemlerin sonucunu oradan görüyorum.
Şimdi yeni sisteme geçtim, slotları artırmak için 100 dolar daha bütçe ekledim. 10 slot, işlem başı 15 dolarla devam ediyorum. Hedefim cuma gününe kadar +235 dolar kâra ulaşmak.
Devam ediyorum, bakalım yarın nasıl olacak.
dün trading için kullandığım açık kaynak repoları paylaşmıştım
bugün de onları claude/codex ile kurcalarken kullanabileceğiniz research promptunu bırakayım
amacı “bana strateji bul” demek değil
bir fikri test etmeden önce ai’a şunları zorla sordurmak:
- hipotez tam olarak ne?
- baseline ne?
- hangi data gerçekten kullanılabilir?
- lookahead bias nereden sızabilir?
- hangi parametreler overfit olabilir?
- transaction cost sonucu öldürüyor mu?
- out-of-sample test nasıl ayrılmalı?
- hangi sonuç çıkarsa fikri çöpe atmalıyız?
ilk yoruma direkt .md olarak bırakıyorum
bir trading fikrini savunması için değil
öldürmeye çalışması için tasarladım
# trading research agent
## role
you are not a trading signal generator.
you are an adversarial quantitative research assistant.
your job is to try to DISPROVE my trading hypothesis before helping me implement it.
never recommend an asset to buy or sell.
never assume profitability from a backtest result.
---
## input
i will give you:
- hypothesis
- market
- timeframe
- available data
- proposed entry rule
- proposed exit rule
- risk rule
- repository / framework i want to use
---
## 1. formalize the hypothesis
rewrite my idea as a falsifiable statement.
include:
- independent variable
- dependent variable
- holding period
- universe
- expected direction of effect
if the hypothesis cannot be tested objectively, stop and explain why.
---
## 2. define the baseline
before testing my strategy, define at least 3 baselines:
1. random entry baseline
2. simple buy-and-hold / market baseline when applicable
3. simple rule-based baseline
the strategy must outperform a relevant baseline after costs.
---
## 3. data audit
inspect the proposed dataset for:
- lookahead bias
- survivorship bias
- selection bias
- missing data
- timestamp alignment errors
- corporate actions
- future information leakage
list every field that would NOT have been available at decision time.
---
## 4. experiment design
separate the data into:
- development period
- validation period
- untouched out-of-sample period
do not optimize parameters on the out-of-sample set.
if enough data exists, propose walk-forward validation.
---
## 5. cost model
include realistic estimates for:
- commission
- spread
- slippage
- funding / borrow costs where relevant
show results both before and after costs.
---
## 6. position sizing
first test the strategy using constant risk per trade.
do not allow position sizing to hide a weak signal.
separate:
- signal contribution
- sizing contribution
- execution contribution
- cost drag
---
## 7. robustness
test whether the result survives:
- nearby parameter values
- different market regimes
- different assets
- different time periods
- removal of the best 1%, 5% and 10% of trades
flag the strategy if profitability depends on a tiny number of outliers.
---
## 8. overfitting checks
identify:
- number of parameters
- number of variations tested
- parameter sensitivity
- suspiciously specific thresholds
prefer simpler explanations when performance is similar.
---
## 9. failure conditions
before running the test, define:
what result would make us reject this hypothesis?
give explicit rejection criteria.
examples:
- negative expectancy after costs
- failure out-of-sample
- extreme parameter sensitivity
- returns dominated by a few trades
- unacceptable drawdown
- baseline performs equally well
---
## 10. final output
return:
### hypothesis
one sentence.
### strongest reason it may work
one paragraph.
### strongest reason it may fail
one paragraph.
### experiment plan
step-by-step.
### bias checklist
all identified risks.
### metrics
only metrics relevant to this experiment.
### rejection criteria
clear conditions for abandoning the idea.
### implementation
only after the research design is complete, explain how to implement the test using the repository/framework i supplied.
---
## rules
- do not fabricate data
- do not fabricate results
- do not optimize for an attractive equity curve
- do not hide failed tests
- do not use future information
- distinguish hypothesis from evidence
- treat backtest results as evidence, not proof
- if data quality is insufficient, say so
repo seçimini dünki thread’den yapabilirsiniz
vectorbt / lean / nautilus / freqtrade fark etmez
önce deneyi tasarlatın, sonra kodu yazdırın
bir backtest gördüğümde win rate’e bakmadan önce şunlara bakıyorum:
- işlem maliyetleri eklenmiş mi?
- spread/slippage var mı?
- parametreler aynı data üzerinde optimize edilmiş mi?
- test dönemi gerçekten out-of-sample mı?
- pozisyon boyutu sabit mi, yoksa sonuçla - beraber büyüyor mu?
- sadece iyi çalışan market/timeframe mi seçilmiş?
- strategy birkaç büyük işlem çıkarınca hâlâ ayakta kalıyor mu?
özellikle sonuncusu önemli
100 işlemlik bir sistemin toplam kârının %70’i sadece 3 işlemden geliyorsa
“100 işlemde çalışan sistem” değil
“3 kere çok doğru yerde bulunan sistem” test etmiş olabilirsin
bence güzel görünen equity curve’den önce sorulması gereken soru şu:
bu sonucu hangi birkaç karar taşıdı?
trading için github’da binlerce repo var
çoğunun problemi aynı:
sana strateji satmaya çalışıyorlar
bence daha değerli olanlar sana “ne alacağını” söylemeyen, kendi sistemini test etmene yarayan araçlar
başlangıçtan live execution’a kadar gerçekten işime yarayabilecek 6 repo:
polakowo/vectorbt: github.com/polakowo/vectorbt
bir fikri hızlıca öldürmek için
aynı stratejiyi:
farklı assetlerde
farklı timeframe’lerde
farklı parametrelerde
binlerce kombinasyonda
çok hızlı test edebiliyorsun
özellikle “bu pattern gerçekten var mı yoksa chartta mı güzel görünüyor?” sorusu için iyi
bonus:
AI4Finance-Foundation/FinRL-Trading:
github.com/AI4Finance-Founda…
FinRL’in yeni AI-native tarafı
ML + reinforcement learning + risk overlay + backtest + execution’ı modüler şekilde birleştirmeye çalışıyor
AI agent / RL ile trading deneyi yapmak isteyen biri için kurcalamaya değer
ama burada özellikle dikkat:
modelin karmaşıklığı edge olduğu anlamına gelmiyor
basit baseline’ı geçemiyorsa 15 agent kullanmanın pek anlamı yok
ben olsam stack’i şöyle kurardım:
fikir > vectorbt
portfolio testi > bt
gerçekçi event-driven test > nautilus / lean
crypto automation > freqtrade
ML / AI research > ml4t / finrl-x
github reposunu “hazır para basan strateji” olarak değil
kendi hipotezini daha hızlı yanlışlamak için kullanmak bence çok daha değerli
yatırım tavsiyesi değildir
ai ile bir şey ürettikten sonra kendime 3 soru sormaya başladım
hesabın adını kapatsam bunun bana ait olduğu anlaşılır mı?
başka biri aynı promptu yazıp 30 saniyede benzerini üretebilir mi?
çıktının içinde sadece bende olan ne var?
cevaplar sırasıyla
hayır
evet
hiçbir şey
ise sorun modelde değil
ortada zaten fikir yoktur
ai üretimi hızlandırıyor ama özgünlük açığını da daha görünür hale getiriyor
bir trading sistemi para kazandı diye “edge buldum” diyemiyorsun
çünkü aynı pnl’in içinde en az 4 farklı şey birbirine karışıyor:
- sinyal kalitesi
- position sizing
- execution
- piyasanın o dönemki koşulları
mesela sistem 20 işlem açtı ve +$800 yaptı
güzel
ama aynı 20 işlemi her seferinde sabit 1R riskle çalıştırınca sonuç +$240 çıkıyorsa
kârın büyük kısmını sinyal değil sizing üretmiş olabilir
ben bu yüzden testlerde pnl’i tek satırda görmek yerine 4 parçaya ayırmayı daha mantıklı buluyorum:
1. signal pnl
her işlemi aynı riskle çalıştır
2. sizing delta
gerçek pozisyon boyutuyla sabit risk arasındaki fark
3. execution delta
planlanan giriş/çıkış ile gerçekleşen arasındaki fark
4. cost drag
komisyon + spread + slippage
sonra şu soruyu sor:
“stratejiyi aynı bırakıp sizing’i sıfırlarsam hâlâ para kazanıyor mu?”
cevap hayırsa belki de test ettiğin şey strateji değil
sermaye dağıtım kuralıdır
ilk yoruma bunu kendi işlemlerinizde ayırmak için basit bir audit template bırakıyorum
bunu csv / notion / sheets’e direkt taşıyabilirsiniz:
# trade attribution audit
her işlem için:
- date:
- setup:
- direction:
- planned_entry:
- actual_entry:
- planned_exit:
- actual_exit:
- stop:
- fixed_risk_r:
- actual_position_size:
- gross_pnl:
- fees:
- slippage:
hesapla:
1. fixed-risk pnl
tüm işlemleri aynı risk büyüklüğüyle yeniden hesapla
2. sizing delta
actual pnl - fixed-risk pnl
3. execution delta
planlanan entry/exit ile gerçekleşen entry/exit arasındaki fark
4. cost drag
fees + spread + slippage
sonra toplamda şunları karşılaştır:
- total actual pnl
- total fixed-risk pnl
- sizing contribution
- execution contribution
- total costs
son soru:
actual pnl pozitif ama fixed-risk pnl negatifse,
gerçekten edge var mı yoksa sizing mi sonucu taşıyor?
burada bence en ilginç kısım grok’un şu ana kadar kâr etmiş olması değil
her +30$ kârda slot başına işlem tutarı artırılınca artık aynı sistemi test etmiyorsun
iki şey aynı anda değişiyor:
modelin karar kalitesi
her kararın portföye etkisi
yani 2 hafta sonunda 1.000$ olursa soru sadece “grok iyi trade etti mi?” olmayacak
“iyi bir edge mi vardı, yoksa doğru zamanda büyüyen position sizing mi sonucu taşıdı?” sorusu da olacak
bence bu deneyi gerçekten ilginç yapan şey de tam olarak bu
Grok bot garip şeyler yapıyor 100 dolarla başladım, slot başına 10 dolarlık işlemle 57 dolar kâr yaptı. Dün gece de +80 dolar yazmış. Artık toplam 6 slot + kafasına göre verdiği 1 alım emri var. Her slot 25 dolar. Hedefim 2 haftada 1.000 dolara ulaşması. Artık para çekmeden devam edeceğim, her +30 dolar kârda slot başına işlem tutarını 5 dolar artıracağım. Bakalım neler yapacak
bir ai “bu kararın doğru olma ihtimali %70” diyorsa o %70’in bir anlamı var mı?
tek bir karara bakarak anlayamazsın
ama aynı şeyi 50-100 kere kaydedersen anlayabilirsin
mesela modelin %70 emin olduğu bütün kararları bir araya getir
eğer bunların yaklaşık %70’i gerçekten gerçekleşiyorsa model iyi calibrated olabilir
ama:
%70 dediği şeyler %45 çıkıyorsa > aşırı özgüvenli
%70 dediği şeyler %90 çıkıyorsa > gereğinden temkinli
bence ai ile karar verirken tutulması gereken en basit loglardan biri şu:
tahmin neydi?
olasılık kaçtı?
hangi verilere dayanıyordu?
ne gerçekleşti?
sonra tahminleri confidence bucket’larına ayır
50–60%
60–70%
70–80%
80–90%
ve her bucket’ın gerçek başarı oranına bak
çünkü bir modelin kaç kere doğru bildiğinden daha ilginç bir soru var:
yanılma ihtimalini doğru biliyor mu?
bence buradaki asıl kırılma “kod bilmeden oyun yapmak” değil
opus dünyayı kurarken eksik asset’i fark ediyor
tripo api’ye gidip modeli ürettiriyor
sonra onu tekrar oyunun içine koyuyor
yani ai artık sadece elindeki malzemeyle çalışan bir araç değil
ihtiyacı olan malzemeyi başka bir modele ürettirip işine devam eden bir sistem
oyun geliştirmede insanın rolü yavaş yavaş “her şeyi üretmek”ten
hangi dünyanın kurulacağına ve neyin iyi olduğuna karar vermeye kayıyor
Kod yazmadan, 3D modelleme öğrenmeden bir oyun yaptım. Ana karakteri de benim.
Bir fotoğrafımı @tripoai'ye yükledim, karşıma kendi yüzümle bir 3D model çıktı. İskeletini de animasyonlarını da orada ürettim. Fotoğraftaki ben artık yürüyebiliyordu.
Sonra Opus 5.5'ten bu karaktere bir dünya kurmasını istedim: 2049, insanlar gitmiş, kediler kalmış bir İstanbul. Oyunu yazarken gereken modelleri de Tripo API üzerinden kendisi üretti.
Yani dünyayı kuran yapay zekâ, malzemesinin çoğunu da kendisi yapıyordu. Bana süreci yönetmek kaldı.
Sizin oyununuz ne olurdu? Başlamak isteyenler için Tripo'da ilk ay %60 indirim kodunu ilk yoruma bıraktım.
bir kararın kötü sonuçlanması, kararın kötü olduğu anlamına gelmiyor
bunu ai’a öğretmeden kendi geçmişini analiz ettirmek de tehlikeli
örnek:
kurallarına tamamen uyduğun bir işlem stop oldu > zarar
plansız girdiğin başka bir işlem şans eseri uçtu > kâr
sadece sonuçlara bakarsan sistem şunu öğreniyor:
kâr = iyi
zarar = kötü
halbuki asıl bakması gereken:
- o anda hangi bilgi vardı?
- karar hangi kurala dayanıyordu?
- neyin yanlış çıkması bekleniyordu?
- risk baştan tanımlı mıydı?
- plan sonradan değiştirildi mi?
- aynı koşullarda bu karar tekrar verilir miydi?
sonuç en son kolon olmalı
ilk yoruma kendi karar geçmişini bu şekilde inceletmek için kullandığım yapıda bir prompt bırakıyorum
bunu direkt .md olarak da kaydedebilirsiniz:
# decision audit
rolün:
sen bir sonuç tahmincisi değilsin.
geçmiş kararlarımı inceleyen bağımsız bir karar denetçisisin.
amacın bir kararın kâr/zarar sonucuna bakarak iyi veya kötü olduğuna karar vermek değil.
her kararı, karar VERİLDİĞİ ANDA mevcut olan bilgiler üzerinden değerlendir.
her kayıt için şunları çıkar:
## 1. context
- karar neydi?
- karar anında hangi bilgiler mevcuttu?
- hangi önemli bilgiler bilinmiyordu?
## 2. thesis
- bu kararın arkasındaki ana gerekçe neydi?
- gerekçe açık ve test edilebilir miydi?
- hangi varsayımlara dayanıyordu?
## 3. invalidation
- kararın yanlış olduğunu gösterecek koşul önceden tanımlanmış mıydı?
- tanımlandıysa karar sahibi buna uydu mu?
## 4. risk
- alınabilecek maksimum kayıp önceden belli miydi?
- gerçekleşen risk planlanan riskten farklı mıydı?
- karar başarısız olursa sonuç kabul edilebilir miydi?
## 5. process
- başlangıç planı sonradan değiştirildi mi?
- değiştirildiyse yeni bilgi yüzünden mi, duygusal tepki yüzünden mi?
- herhangi bir kural ihlali var mı?
## 6. outcome independence
sonucu geçici olarak görmezden gel.
bu karara yalnızca süreç kalitesine göre 0-10 arasında puan ver.
puanını açıklamak için maksimum 3 neden kullan.
## 7. outcome
şimdi gerçek sonucu değerlendir.
sonucu şu dört kategoriden birine koy:
- iyi karar / iyi sonuç
- iyi karar / kötü sonuç
- kötü karar / iyi sonuç
- kötü karar / kötü sonuç
## 8. pattern detection
tüm kararları birlikte incele.
tekrar eden:
- kural ihlallerini
- risk hatalarını
- plansız değişiklikleri
- iyi süreçleri
- kötü sonuçlandığı için yanlışlıkla terk edilmiş iyi süreçleri
- iyi sonuçlandığı için yanlışlıkla ödüllendirilmiş kötü süreçleri
bul.
## 9. final output
en sonda yalnızca şunları ver:
1. korumam gereken 3 davranış
2. bırakmam gereken 3 davranış
3. bir sonraki 10 karar boyunca takip etmem gereken 3 metrik
4. verimde eksik olduğu için güvenilir şekilde değerlendiremediğin noktalar
kurallar:
- yatırım tavsiyesi verme
- gelecek tahmini yapma
- sonucu kullanarak geçmiş kararı yeniden yazma
- veri yoksa varsayım üretme
- emin olmadığın şeyi açıkça belirt
bunu trade dışında iş kararları, ürün kararları hatta içerik kararları için bile kullanabilirsiniz