Viggle Video Creation: https://xitter.cf/t.co/5JPRUOX4Bu PINOC: https://xitter.cf/t.co/ujilirFlmu Games: https://xitter.cf/t.co/1ovp5oWOG4 API: https://xitter.cf/t.co/6qaW6hWO74

Joined December 2023
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
292
352
353
2,263
1,686,108
ViggleAI retweeted
Testing the power of character blending in Viggle Animate 2! 🧪✨ Wanted to create a unique look for a spec commercial. Instead of using a single reference, I pushed the prompt to blend features: 🔹 Base: Character from video input 🔹 Style Blend: 50% Image1 + 50% Image2 The prompt cohesion is impressive—retaining the realism of the face while accurately mapping the cracked stone texture on the other half during motion. @ViggleAI
1
1
4
123
ViggleAI retweeted
蛙趣,这是刚用 Claude + JST2 做的3D 网页游戏,我还特意选了一个比较逆天的场景 结果这效果确实牛掰,具体就是用 Claude 编排,然后配合 @ViggleAI 刚发布的 JST 2 做了《走进梵高》 其实,用 AI 做 3D 最难的是场景、角色建模、动作这些素材,要不然很难做出可用的建模 现在这三样 JST 2 全包含了: 1、场景:一张图输入,出来高斯泼溅的真 3D 场景,生成一次,任意角度都能观看。 2、角色:用文字描述或照片生成,自带骨骼,能直接动。 3、动作:免费动作库里挑,没有的就用文字描述生成。 而且 Claude 可通过 PINOC MCP 能直接调这些,搭配现在 Opus5.5/6Astra 的代码能力,拿来搞 3D 太爽了
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
24
7
13
39
11,633
有一些朋友私信和留言问这个 Gaussian splats 的技术, 我想刚好也在这里分享一下。 我其实关注这个技术很久了。最开始做扫描的项目的时候,就使用过这种技术,就是通过手机照一些照片,然后进行重构,包括通过视频重构等等。当然,那个时候这个技术还不是很成熟,但现在的效果越来越好了,包括前几天 VIGGLE 发布的“世界模型”-JST-2 就是基于这个技术,再加上了物理。 Blender 的最新版也直接 native 支持Gaussian splats,我觉得也是一个非常好的方向。 而且技术越来越成熟,可以开始转这个技术栈了。 最近半年到一年,我的游戏项目就开始一边使用传统的 mesh 技术,并且逐步开始一边创造新的 pipeline 大量使用这个技术。 我想也跟大家多解释一下这个 Animated Gaussian Splat 是什么样子的,以及它在游戏里面的优点是什么样子的,还有我具体是怎么做的。 比如说下面这个视频里面的战斗场景,主角那个人物我就是把我自己的照片扫成了Splats然后加上了动作,变成Animated Gaussian splats,然后在放到游戏里面,你看这种滞空的动作,ARPG 里面的紧凑战斗场景 也可以像之前的 Mesh 一样做到。 性能上其实也非常友好。 我的游戏里面其实有两个 pipeline: - 传统的通过 mesh 的自定义捏人技术 - 大量使用的NPC、怪物animated Gaussian Splats,最近我还在加入Splats的场景,实现可游玩的世界模型的效果 加入这个 pipeline 的原因主要是因为它实现非常快,效果也很不错,而且我个人认为,对于大量的小怪或者 NPC 成本比 mesh 要低很多。 因为这个技术很符合我目前的一套工作流。 是可以直接根据 AI 生图,然后通过参考图直接生成 animated splats再加上各种文字生成动作。 然后再加上视频 AI 动作捕捉 mocap 这一套流程,现在再加上 AI agent 的帮助。 其实全部都能够通过 agent 的工作流批量处理,能非常大程度地节省游戏开发者的时间。 大家可以看到,这段时间我用这个工作流之后, 我的游戏的进展变得非常快。 因为我的效率提升了非常多。我就能开始逐渐去优化打击感、游玩的数值,包括一些技能的效果,包括整个游戏的 lore 背景设定等等。 而且,如果能做到物理交互的场景的世界模型,不仅在游戏开发,对机器人的训练、对真正完全创造出虚拟世界的纯 VR,包括混合现实的,前景其实都非常广泛。大家可以关注一下这个技术,我埋伏了很久了。 🤓🫶
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
2
15
1,686
作り方はこんな感じです🧙‍♀️(PINOCの実際の画面) ① 絵1枚をアップして「この絵から環境を作って」→ 歩き回れる3Dシーン ② 画像1枚 → 3Dキャラクター ③ 動きは文章で指示(長いパドルを両手で、円を描くように混ぜる…) ④ シーン+キャラ+モーションを1つのキャンバスで合体 ⑤ 仕上げはViggleのSplat Engine(Web)でカメラワークと演出 How I made it — the real PINOC screens 👇 ① Upload a painting → a walkable 3D scene ② One image → a 3D character ③ Describe the motion in plain words ④ Put them together on one canvas ⑤ Camera work & FX in Viggle's Splat Engine (web) @ViggleAI #JST2 #PINOC #ViggleAI #PR
絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨ @ViggleAI の新しい「JST-2」をPINOCで試してみました。 屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。 絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨ @ViggleAI の新しい「JST-2」をPINOCで試してみました。 屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。 「大釜をかき混ぜて」と文字で頼むだけでモーションも作れて、最後は…薬がボン💥 シーン・キャラ・モーションがひとつの世界でつながるのが楽しい! One painting → a living 3D world 🧙‍♀️✨ I tried @ViggleAI's new JST-2 in PINOC. The attic alchemy workshop and the little apprentice witch each came from a single image. Just type "stir the cauldron" to make the motion… and then the potion goes BOOM 💥 Love how scene, character and motion all come together in one world! #JST2 #PINOC #ViggleAI #PR
1
5
38
881
ViggleAIのJST-2を試した。簡易な検証だけど結果を共有。 まず、JST-2は画像1枚から歩き回れる3D空間(Gaussian Splat)を生成するAIである。世界モデルやワールドモデルと呼ばれる類ですな。 今回は無料枠内で検証。初期クレジットとして60クレジット付与される。 これまでのワールドモデル同様、入力出来るのは画像かテキスト。 過去の経験から360度のパノラマ画像を用意するのが有効だと知っていたので、今回は画像生成(GPT Images 2.5)で作った360度パノラマ画像と、Blenderで立ち上げたモデルから撮影した「正確な」360度パノラマで比較した。 結果は当然ながらBlenderを撮影した正確な画像をベースに出力したものが綺麗。 現実世界を撮影して3DGSを生成したい場合も、綺麗に360度パノラマが撮れればサクッとそれっぽいものは出来そうなクオリティだ。 「Blenderで作れるなら3DGS要らないじゃん」とワイも思ったんだけど ①今回はそもそも画像生成の限界に対して「正確な」入力画像で比較したかった(そして手元に360度パノラマを綺麗に撮れる機材がなかった) ②画像生成の進化を振り返れば、Blenderで作った簡易モデルの360度画像を入力に、生成処理して描き込みを加えられると考えている という2点でこの手法は今後可能性を感じてる 他にもExpand機能があるので生成したあとに空間を拡張することも出来る。 人間を置いて動かすことも出来る。 一方で、生成されるのはあくまで点群なので正確な寸法を求める場合には適さない。 精度がカンストしない限り寸法の検証が必要なケースでは難しいと思う。 逆に空間の雰囲気を確かめたい場合には有効だと思う。 ちょうどワイは家探ししているが、部屋の様子をパノラマ撮影してぶち込めば立体的になるのは便利。 ずっと「建築業界はもっと世界モデルに注目せよ」と言い続けているけど、予想では2027年にこの領域は飛び抜けていく。プレイヤーも増えてきているし、単純に技術が着実に進化してる。 どう使うか今からイメージがあると面白いこと出来るのでは。 ということで次回作にも期待!
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
2
1
1
11
1,511
ViggleAI retweeted
Dream Beyond the Sky 梦越苍穹. Awaken on a floating island and fly through a sea of clouds. An interactive short made entirely using JST-2 environments, characters, and motions. Play: hylu-dev.github.io/dream-bey…
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
2
6
14
963
最新の3D体験は面白かった!! ✅この森の動画、元は1枚の画像です。 画像の世界を3D空間にして、その中でキャラクターを動かせて、カメラも自由自在。 空間生成だけでなくキャラクター生成もモーション作成も一つのツールで完結。 さらに画像が空間になるのがめっちゃ速い。さらに歩かせたり、ジャンプさせたり。 1枚の画像がキャラクターと遊べる場所になる。
🤝 Paid partnership
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
1
2
22
4,947
Opus5.5からPINOCで作成。これblenderのようなポリゴンではありません。 Gaussianで空間、キャラクター、が生成されてます。空間の生成は感覚的にワールドモデルに近いですね。 動画生成の初期のような面白さがある。
最新の3D体験は面白かった!! ✅この森の動画、元は1枚の画像です。 画像の世界を3D空間にして、その中でキャラクターを動かせて、カメラも自由自在。 空間生成だけでなくキャラクター生成もモーション作成も一つのツールで完結。 さらに画像が空間になるのがめっちゃ速い。さらに歩かせたり、ジャンプさせたり。 1枚の画像がキャラクターと遊べる場所になる。
3
5
2
57
4,378
絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨ @ViggleAI の新しい「JST-2」をPINOCで試してみました。 屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。 絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨ @ViggleAI の新しい「JST-2」をPINOCで試してみました。 屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。 「大釜をかき混ぜて」と文字で頼むだけでモーションも作れて、最後は…薬がボン💥 シーン・キャラ・モーションがひとつの世界でつながるのが楽しい! One painting → a living 3D world 🧙‍♀️✨ I tried @ViggleAI's new JST-2 in PINOC. The attic alchemy workshop and the little apprentice witch each came from a single image. Just type "stir the cauldron" to make the motion… and then the potion goes BOOM 💥 Love how scene, character and motion all come together in one world! #JST2 #PINOC #ViggleAI #PR
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
10
3
55
2,106
ViggleAI retweeted
I built this Subway Surfers remake 🍁 autumn in Japan version in 2 days with Claude Opus 5.5 + @Viggle_PINOC MCP (@ViggleAI's new JST-2 model). I’ve never rigged a 3D character in my life and didn’t need to in this project. Project link in 🧵 Here's how I made it: 1/ Character: I gave claude one pic and said - this is my runner, make her run and switch lanes. It used pinoc mcp and came back with a fully rigged 3d character that already with the running & switching motions built in. There was no rigging or retargeting step. 2/ Animations: Running is from pinoc’s free library. Everything else I just typed out with the text2motion feature of PINOC: switching lanes, tripping and faceplanting, taking off into the air. 3/ Scene: didn’t even give claude a reference. Literally just said - build me a pretty autumn vibe with fall leaves, and this is what came out.
4
2
8
451
ViggleAI retweeted
Made a small horror game on JST-2 for launch week. Both characters, every motion and both rooms came out of PINOC, and it runs in your browser. It's a first version, so expect rough edges. 收舖 Closing Time, Night 1:
howardhwt.github.io/closing-…
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
1
1
2
310
Viggle的JST-2吹爆😭😭😭 把我的游戏质量直接提升一个档次 我一直想做的DMC鬼泣那种酷炫效果终于能慢慢实现了😭 我游戏所有人物NPC怪物全部都是Opus5.5接个connector接个他们的mcp批量生产的 极大降低了我游戏里面大量3D资产、动画繁琐的时间 我现在正在用他们世界模型做游戏场景,稍后发给大家看,一秒生成,太震撼了。而且推理成本打到了$0.01美金 我甚至有个想法让游戏实时生成场景,然后搞订阅制🤣🤣🤣生成的时候用户载入一下就行。 我太激动了有好多想法😭😭😭 这个游戏是全从零在Godot里面做的!!!不是用的unreal,全部都是从零开始的项目, 我从来不敢相信能不用这种重型引擎和买各种框架、资产自己能做游戏实现这样到效果 这个时代真的是太好的时代了😭😭😭
10
5
43
3,552
ViggleAI retweeted
Replying to @ViggleAI
@ViggleAI I tried to recreate this character, but somehow the chin always gets flat. xitter.cf/RealMatthewBall/status… Generally looks good, it's only the chin that's not as over-the-top as in the reference. One version used the side view as reference, one the sheet.
It's time bois. The masks are off and now you get to see me for who I really am. I'm Matthew Ball, a psychiatrist in a mental asylum for anti-ai folks, trannies and other troublesome goyim. No lousy loonie excapes the hospital ward on my watch! Also my monocle allows me to detect faggots.
1
3
261
前几天看了赛克(@Saccc_c)用 Opus 5.5 做《小王子》的教程,我尝试把陶渊明的《桃花源记》做成一个明亮的第三人称探险小游戏,Opus 5.5 加 3D 模型确实能够做出可玩的游戏了 用到的工具:Claude Code(Opus 5.5)、@ViggleAI 的 PINOC(JST-2),再加一个网页 3D 引擎。 大体是这么做的👇 ① 先写策划 五幕直接对着原文:缘溪行 → 忽逢桃花林 → 山有小口,仿佛若有光 → 豁然开朗,桃源村 → 处处志之,不复得路。 ② 再出概念图 用 AI 出全景设定、关键画面和角色三视图,这里我用的是 Codex 内置的生图功能。画面参考《小王子》的明亮感,人物参考《风之旅人》《光·遇》:渔郎戴竹斗笠、披稻草蓑衣,再加一条桃红色的长围巾。 ③ 角色交给 PINOC 渔郎、老翁、小孩,把正、侧、背三视图丢进 PINOC,出来就是自带骨骼的 3D 高斯泼溅角色。 走、跑、挥手、点头直接从动作库里拿;坐下吃饭、作揖、小孩蹦跳这些用文字生成。 PINOC MCP 接进 Claude Code 之后,这些都是 Claude 自己去调。 ④ 搭场景 远处的桃花山谷用 PINOC 的场景生成。近处的小溪、小路、桃树,还有几万簇随风摆动的草、雏菊、薰衣草、蕨类,都是 Claude 写程序搭出来的。 ⑤ 对标迭代(最关键的一步) 学赛克的做法:固定几个机位,每改一轮就截图,和《小王子》并排对比,看差在哪,再改下一轮。光溪畔桃林这一个小场景就迭代了八轮,从一开始的"塑料感"改到现在这样。 最大的感受:一个人加上 Claude 和 PINOC,一天就能做出一个明亮、能玩的小世界
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
43
20
3
242
35,819
Opus5.5、PINOC作成した空間から動画。 blenderのローポリプレビズが主流だけど1年後にはワールドモデルで動画にするのがスタンダードになってるはず。 動画生成にv2vするんじゃなくて作りたい映像の空間そのものを先に作るイメージ。 手がボールを貫通してるのは見逃してw
2
2
32
2,277
ViggleAI retweeted
Fuck it two for one, check this demo out. World models are going to change the world. Used a photo of my grandma's old house and @ViggleAI 's JST-2 to make a splat and made this quick tech test. The mirror piece particularly blew me away. Truly mind blowing shit. "Ready Player One" is uppon us. #worldmodels #ai #IndieGameDevs #threejs @threejs @claudeai #vibecoding
4
2
8
1,271
One model that generates 3D characters, motion, and scenes. JST-2 is now live in our API. Start building today: viggle.ai/developers
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
9
7
2
44
6,222
ViggleAI retweeted
アーリーアクセスで使わせてもらったViggleAIのJST-2。Gaussian Splattingベースになっていて、画像一枚からリグ入りかつ3DGSで構成されたデータが出来てモーションも入れられる。この動画のだと13万splatsだった。もうちょい高精細なモードも欲しいけど軽量で使いやすいサイズ感じゃないかな。
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
3
14
1
101
6,843
Instead of ASCII RPG, how about water colour instead? PoC of Ksatria, a water coloured fairy-tale adventure of Prince Arya and Princess Sekar. I was trying @ViggleAI for their motions and turned out good (enough haha). Play the demo here: ksatria.asfarlab.fun
2
1
5
321
PINOC (JST-2) をおためし中
1
18
157
9,656