ft-lab (@cg_ftLab) profile picture

ft-lab

@cg_ftLab

最近はAIを模索しつつ、3DCG（モデリング/プログラム）の作業を効率化しようとしています。 XR(AR/VR)好き。現実と仮想をつなぐのが大きな目標です。 公開できる個人プロジェクトの進捗はのんびりとXでつぶやきます。

 日本 埼玉
Joined March 2010
  • Tweets18.4K
  • Following39
  • Followers1.8K
5.8KMedia
Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)Photo by ft-lab (@cg_ftLab)
Quest3でのMRでの遮蔽は安定はしないか。 手はメッシュ、腕などのその他はdepthセンサーでの遮蔽（Quest3でのよくあるパターンとのこと）。
1
7
512
depthセンサーはちょっと誤解があるか。 視差でのdepth推定です。Quest3が自動で行っている（と思われる）もの。
2
89
行き着く先は視差でのDepth推定になりそうか。 だとすると、この段階でUnityにプロジェクトを移す方がよいかな。
24
荒いdepthの高解像度化（学習が必要）という研究テーマはすでにあるみたい。 ただ、成功しているかどうかは判断が難しいので その先はdepth推定の研究テーマに突入してしまう。 また学習前提だとXRで求める速度は厳しそう。
38
これはポストするのを抑えるけど 今日撮ってきた写真のうち、銅像をTripoで3D化したら見事に再現できた。
72
帰宅してもまだMicroduckのRLは終わっていなかった。 Opus 5.5でずっと反復してもらってる。 といっても、ほとんどはGPUを使った学習なので あまりトークンは減らない。 Maxプランだと複数プロジェクトをがっつり並列しても 十分余るなぁ。 今は３つのプロジェクトを並列させてます。
96
Museは散歩の記録などをしてるので 自動的に今日の行動をまとめてくれた。 外出時のお供のAIアシスタントはもう自分の中ではMuseに置き換わったな。
Image from ft-lab (@cg_ftLab)
117
おっ、ｽﾋﾟｷだ。 でかい。
Image from ft-lab (@cg_ftLab)
146
ガバス配っとる。 富豪や。
Image from ft-lab (@cg_ftLab)
Image from ft-lab (@cg_ftLab)
105
Claude Opus 5.5のみを使う和洋折衷の建物モデリング（レンダリング環境はOmniverse USD Composer、開発中のスキルベース）は、 後は2階の数部屋が埋まれば全部できたことになる。 トークン制限を気にしながら積み重ねてきたけど Maxプランだと一気に進められそう。
Image from ft-lab (@cg_ftLab)
Image from ft-lab (@cg_ftLab)
4
3
55
2,962
古いPCゲーム好きならこの建物を知ってる人はいるとは思うけども 図面があるのですよね。 なので、割と再現しやすかったりする。 建物内をウォークスルーする動画を作るのがこのプロジェクトのゴールです。 これも以前棚上げしてたプロジェクトで AIの力を借りて復活させた。
269
XR(特にAR/MR)はAIの力を借りることで 今までうまくいかなかった部分を進めることができるかもしれないなぁ。 リアルタイム性が抜群に必要なのでそこはまだ時間がかかりそうだけど。 DepthとLight推定はそろそろ何とかならないだろうか。
74
Claudeを使ったプロジェクト（今はOpus 5.5以外はほどんと使ってない）は 建物モデリングとMicroduckの学習を トークン上限を気にしながら使ってたけど Maxプランだと完全同時並行でかつ別の実験プロジェクトができてよい。
111
本日の和洋折衷の建物モデリング (Claude Oput 5.5を使用) は 2Fの勉強室。 Maxプラン(実験的に一か月だけ切り替え中)に変えて初の休日。 平日深夜はいつもより多めに使ってたのだけど、 自分の使用目的ではずいぶん余裕がある。
Image from ft-lab (@cg_ftLab)
1
1
5
300
Claude Opus 5.5、間違えた。
73
Quest3のカメラの映像の取得のためにUnityに移行するか、 その場合にDepth Anything（単眼からのdepth推定）かステレオ視差からの推定か、かなぁ。 ステレオ視差からのdepthは github.com/NVlabs/Fast-Found… のようなものがあるみたい。
GitHub - NVlabs/Fast-FoundationStereo: [CVPR 2026] Fast-FoundationStereo: Real-Time Zero-Shot...

GitHub - NVlabs/Fast-FoundationStereo: [CVPR 2026] Fast-FoundationStereo: Real-Time Zero-Shot...

[CVPR 2026] Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching - NVlabs/Fast-FoundationStereo

github.com
109
さらっと調査してもらうと それ以前にQuest3のブラウザのWebXRからは パススルーの生の映像やカメラの内部パラメータを取れない、という回答が。
2
248
Quest3の深度センサーは取得まではいけたけど 厳しいという結果になりました。 荒い＋遅延がある。 かといって、メッシュ方式（手を検出する精度はいいのでそれでオクルージョン）は 現実の手との指の太さの差があるため これも使えず。 超難易度が高い課題に突入だわ。 現状、うまくいかん。
Image from ft-lab (@cg_ftLab)
1
134
なお、AI由来のSAM3のようなものだと（Depthではなく手だけセグメンテーションとして抜く） VR/MRでは重すぎる、ということで使えない感じ。 別のリアルタイムDepthの理論を探すか考えださないと、、、
1
83
ちなみにそれが解決できたらARのあらゆる問題がクリアできる、というレベルなので 現状は夢物語かなぁと思ってる。 ちょっと論文探すわ。
61
Load more