Pinned Tweet
Sync-Strata、一般公開しました🎉
github.com/hiruhiru2005/sync…
家庭用PCでQwen3.8 Flash-Next(125B MoE)を高速に動かせる、Strataベースのローカルアプリです
RAMに合わせてSync-XS / S / Mの3モデルから選べます
Windows / Linux対応
(注: 試験版のため、不具合が起きる可能性があります)
・デスクトップアプリ+スマホからQRコードで接続
・OpenAI / Anthropic互換API、CLI
・最大256Kコンテキスト(VRAMに合わせて自動設定)
・画像入力、Web検索
・AMD Radeonも実験的に対応
不具合や要望はGitHubのIssueかリプでどうぞ!
Strata(@coldniko さん)、Gyro(agentionaiさん)をベースに、計測にはstrata-jbench(@jun1228909 さん)を使わせていただきました。開発者の皆さん、本当にありがとうございます!!🙏
URL間違っていたので再投稿しました
いいねRTしていただいた方申し訳ないです🙇♂️
Sync-Strata、一般公開しました🎉
github.com/hiruhiru2005/sync…
家庭用PCでQwen3.8 Flash-Next(125B MoE)を高速に動かせる、Strataベースのローカルアプリです
RAMに合わせてSync-XS / S / Mの3モデルから選べます
Windows / Linux対応
(注: 試験版のため、不具合が起きる可能性があります)
17
1,226
・デスクトップアプリ+スマホからQRコードで接続
・OpenAI / Anthropic互換API、CLI
・最大256Kコンテキスト(VRAMに合わせて自動設定)
・画像入力、Web検索
・AMD Radeonも実験的に対応
不具合や要望はGitHubのIssueかリプでどうぞ!
1
62
Strata(@coldniko )、Gyro(agentionaiさん)をベースに、計測にはstrata-jbench(@jun1228909 さん)を使わせていただきました。開発者の皆さん、本当にありがとうございます!!🙏
51
グラフィックボードの性能(TFLOPS.・FP32)は?
(調べるのが大変だったら感覚でも大丈夫です!)
最も近いのを選択してください!
37%16(3060Ti、4060)くらい
35%32(3080Ti、4070、5070)くらい
22%48(4080,5070Ti)くらい
7%64以上(4090、5090)
101 votes • Final results 4
1,032
ローカルLLMに使っている(使う予定のある)PCのVRAM容量は?
(最も近いのを選択してください!)
14%8GB
34%12GB
34%16GB
18%24GB以上
134 votes • Final results 3
831
地元LLM界隈のスペックの分布が知りたいのでアンケートいくつか流します!
良ければお答えください!
ローカルLLMに使っている(使う予定のある)PCのメインRAM容量は?
6%16・24GB
48%32GB
6%48GB
41%64GB以上
105 votes • Final results 3
635
ヒル retweeted
Replying to @mirai_yuki_tech
私はそのカットする機能は切ってるよ
たしかVRAM に載っていない専門家のうち、その区間のどのトークンでも何番目以下でしか選ばれていないものを、転送も計算もせずに飛ばすみたいなやつ
0.1.42から付いた機能らしい
今晩〜明日のどこかで、以下のスペックでの計測を行います!
decode速度を予測してみてください👀
①Windows+R7 7800X3D+DDR5-4800 32GB+RTX3080(12GB)
②Windows+i5 14400F+DDR4-3200 32GB+RTX4060Ti(8GB)
③linux+i5 11400F+DDR4-3200 16GB+RTX3060Ti(8GB)
Windowsでの成績もあまり芳しくない
目標は
Sync-M
R7 日本語chat 80tok/s コーディング 100tok/s
R4 日本語chat 100tok/s コーディング 120tok/s
なんだけど、いまはその-10〜-20あたり
9
991







