データブリックス ジャパン 🇯🇵 の公式アカウント データ活用の最新ニュースを発信中🚀 『DATA+AIの民主化』を実現します！ 🧱#JEDAI→https://xitter.cf/t.co/fvOID1nocu 📕Blog→https://xitter.cf/t.co/HwENydHKzl 🎥Youtube→https://xitter.cf/t.co/wLcg2qB7ny
Joined December 2019
- Tweets3.3K
- Following25
- Followers3K
- Likes9.8K
Databricks Japan🧱 retweeted
Load billions of rows into Lakebase Postgres without competing with live application workloads.
With LTAP, Spark handles bulk loads on separate compute, keeping the primary focused on serving queries. databricks.com/blog/load-ter…
💡 AIは「どれだけ使ったか」から「どれだけ価値を生んだか」へ。コスト管理の新たな経済学を、Databricksがお届けします。
▶︎databricks.com/jp/blog/ai-co…
📊 評価軸は消費量からROIへ
トークン消費量を追う「tokenmaxxing」ではなく、1ドルあたりのビジネス価値を高める「valuemaxxing」が重要です。チーム・プロジェクト・顧客・機能ごとに支出を紐づけ、投資効果を測ります。
⚙️ 必要な情報とモデルを、必要なときだけ
情報はツール経由でオンデマンド取得し、コンテキストの肥大化を抑えます。タスクの難易度に応じてモデルを選び、高性能モデルへの過剰な依存を減らします。
🛡️ 予算には段階的なガードレールを
チーム別予算や利用上限を設定します。予算の70％消費時点で高コストモデルの利用を絞るなど、使い切る前に対策します。
🔍 AI Gatewayで全体を可視化
すべてのAI通信を一元管理し、監視・コスト配分・予算適用を集約します。処理全体のトレーシングと実験で、無駄の削減と品質維持を検証します。
🚀 「測定できないものは管理できない」。エージェント活用が本格化する前に、管理基盤を整えましょう。
#Databricks #AI #コスト最適化
Databricks Japan🧱 retweeted
ontologyやknowledge graphが構築できるdatabricksの ontobricksではグラフ上で選んだエンティティをダッシュボードで分析できる機能があります。設定に手こずったのでブログにまとめました。
OntobricksのDashboard Mappingを使ってみる - Vポイントマーケティング｜TECH LABの Tech Blog techblog.vpoint.co.jp/entry/… #Databricks
Databricks Japan🧱 retweeted
Now available on Databricks: GPT-6.1 Terra.
On our OfficeQA Pro v2 benchmark, it shows a large quality improvement and sits on the quality-cost pareto frontier.
Use it, or any of 70+ other models, on the data already in your Lakehouse to build governed AI apps and agents.
Unity Gateway governs, monitors, and secures every call from a single control plane.
Try GPT-6.1 Terra ↓
docs.databricks.com/aws/en/r…
🤖 AIエージェントが作るデータパイプライン、「動けばOK」で終わっていませんか？
Spark宣言型パイプライン（SDP）が本番運用に向く理由を、528本のベンチマークからご紹介します。
▶︎databricks.com/jp/blog/built…
📊 完了率はほぼ同等、違いは「失敗の見つけ方」です
手続き型PySparkは255/264件、宣言型SDPは258/264件が完了しました。注目すべきは、エラー検知のタイミングと保守性です。
🛡️ 実行前に構造的エラーを検知します
SDPは「何を作るか」を記述し、Sparkがカラム参照やテーブル依存関係を検証します。264件中55件を実行前に停止し、検証時のクラスター時間は手続き型の約34分の1でした。
📝 コードが短く、レビューしやすくなります
コード行数の中央値は131行から64行へ約51％削減しました。将来スケールしにくい、メモリ上での1行ずつの処理も19件から0件になりました。
🔍 テストは引き続き必要です
正常終了しても答えが誤る「サイレントバグ」は残ります。LLM費用は増えるものの、実行時の無駄を抑えたい本番規模でこそ、宣言型が有力な選択肢です。
#Databricks #ApacheSpark #AIエージェント
Databricks Japan🧱 retweeted
Icebergだからオープン！？
違います！
真にオープンになるためのカタログについての解説とDatabricksがUnity Catalogでそれに対してどのような取り組みをしているのかのBlogとなります！
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
IDOM、「Gulliver AX宣言」を発表 AgentforceとDatabricksを全面採用 enterprisezine.jp/news/detai…
Databricks Japan🧱 retweeted
MIXIさんの事例がでております！
全社のデータ・AI基盤として「Databricks Data+AI プラットフォーム」を採用！
主な目的は、意思決定から価値提供までのリードタイムの短縮と、人とAIエージェントが連携して事業価値を生み出す環境の構築のためです！
これまでは、データの部署間分散や、専門部門への抽出依頼による待ち時間の発生、AI活用のためのガバナンス強化などが課題となっており、Databricks導入により、データの統合と安全な権限管理を実現します！
全従業員が自然言語で自律的にデータ分析を行えるようになり、統制されたAIエージェントの運用と併せることで、意思決定の迅速化とデータドリブンなAI経営を推進していくとのことです！
databricks.com/jp/company/ne…
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
AI is getting more autonomous, and governance has to keep up. Teams need control over what AI can access and do, a handle on rising AI costs and the freedom to choose the best models, agents and tools.
The Big Book of AI Governance shows how leading organizations manage all three at enterprise scale without slowing innovation.
Download the eBook →
databricks.com/resources/ebo…
🧠 AIエージェントが「覚えて、学び、次はもっと賢く動く」。
Databricksが発表した本番環境向け永続メモリ設計「MemCurrent」をご紹介します！
▶︎databricks.com/jp/blog/memcu…
📚 記憶は「履歴」と「学び」の2層です
会話履歴を残す「エピソードメモリ」と、知識や手順を構造化して蓄える「派生メモリ」を組み合わせます。学びを活用しながら、必要な詳細も振り返れます。
🔄 記憶の使い方は3通りです
自動で読み書きするプラグイン、エージェントが呼び出すツール、裏側で記憶を整理・統合する「ドリーミング」を使い分けます。Agent Bricks MemoryやGenieの基盤として稼働しています。
📊 精度と効率を両立します
公開ベンチマークでは、入力トークン数を約1/12に抑えながらフルコンテキストと同等の精度を達成しました。社内評価では、メモリなし比でパス率が22.3%→68.4%に向上し、高速化・低コスト化も実現しました。
⚡ 経験を次の行動に生かします
約6分・11回のツール呼び出しを要した調査手順を記憶し、類似タスクを41秒・2回で完了した事例もあります。
#Databricks #AIエージェント
Databricks Japan🧱 retweeted
AI Runtime is now generally available, bringing serverless, on-demand GPUs directly into Databricks to power the next generation of AI development.
As AI teams scale model training and agent-driven experimentation, they need GPU infrastructure that can keep pace. AI Runtime delivers seconds-level launch latency, reliable multinode training, and Unity Catalog governance on every workload.
Hundreds of customers, including Robinhood, PicPay, Flo Health and FactSet already use it to ship deep learning models to production.
Accelerate AI innovation, from experimentation to production → databricks.com/blog/ai-runti…
Databricks Japan🧱 retweeted
書いた。
Databricks でデータ分析基盤を作成してみた。
dbt も使えるし、開発体験が非常に良かった。
無料なのに、かなり便利なので他のデータも全て Databricks に集約していこうかと考えている。
zenn.dev/kkk555/articles/dat…
🚀 本番で起きたバグを、その実データで安全に検証できたら？
HamletはDatabricks Lakebase Postgresで、開発とテストの進め方を変えています。
▶︎databricks.com/jp/blog/how-h…
🔎 どんなサービス？
・全米7,200以上の自治体の会議動画・議事録を検索可能にする「シビックインテリジェンスプラットフォーム」です。AIの回答を動画のタイムスタンプに紐付け、一次情報まで確認できます。
🌿 PRごとに専用の検証環境
・プルリクエストごとに本番データの専用ブランチを自動作成し、プレビュー環境へ接続します。
・本番から分離されているため、原因となった実データで修正を検証でき、書き込みテストも本番に影響しません。
⏱️ データ準備の手間を削減
・従来はPRごとに15〜30分かかっていたデータ準備を自動化し、エンジニアが検証に集中できる環境を実現しています。
🤖 AIエージェントも安全に活用
・ClaudeやCodexにブランチ権限を付与し、データパイプラインの実行と一次チェックを自動化しています。最終マージは人間が承認します。
#Databricks #Lakebase #生成AI
Databricks Japan🧱 retweeted
Databricks、DBのブランチ分岐できるのは良いな。
たしかに、コーディングエージェントを並行で動かすと、コードは Git の worktree で分けられても、DB は取り合いになる。
しかもDBのサイズに関係なく、1秒以内でDB全体をブランチにできるのか。
databricks.com/blog/lakebase…
Databricks Japan🧱 retweeted
DatabricksのGenieが分析アシスタントから「AI Coworker」へ大きく変化。対話で依頼した定型業務をそのままエージェント化できる流れと、その精度を支えるGenie Ontologyの位置づけが分かる。オントロジーが製品の裏側の部品として組み込まれていく流れが注目。
zenn.dev/nttdata_tech/articl…
Databricks Japan🧱 retweeted
無料でちゃんと使えるDatabricks Free Edition！
よろしくおねがいしますー！
書いた。
Databricks でデータ分析基盤を作成してみた。
dbt も使えるし、開発体験が非常に良かった。
無料なのに、かなり便利なので他のデータも全て Databricks に集約していこうかと考えている。
zenn.dev/kkk555/articles/dat…
🚀 AIネイティブなCDPで、マーケティングはどう変わるのでしょうか？
HPがDatabricks CustomerLakeを活用し、データ統合から施策実行までを進化させています。
▶︎databricks.com/jp/blog/hp-ai…
🔹 分散データを、使えるシグナルへ
数百のデータレイクやリポジトリを少数のレイクハウスに統合し、ガバナンスの効いたMarketing Lakehouseを構築しました。インテントデータは75から約20,000トピックへ拡張し、活用できるシグナルが90%増加しています。
🔹 データ共有は「3か月→48時間以内」
Delta Sharingにより、販売パートナーへのデータ提供を大幅に短縮しました。
🔹 オーディエンス構築の準備を2時間で
従来のCDPでは2〜3か月を要した作業に対し、初回セッションでデータモデル設定・属性公開・構築準備まで到達しました。AI/BI Genie向けにも共通の指標定義を整備しています。
🔹 コストと将来の拡張性も重視
CDP機能の統合で、TCOは従来のコンポーザブルCDP比で最大40%削減できると試算しています。今後は共有アイデンティティ基盤でB2C・B2Bの横断活用を目指します。
#Databricks #CDP #AI
🚀 レイクハウスでのデータウェアハウジングが、さらに進化します！
Databricksのマルチステートメント トランザクションが一般提供（GA）を開始しました。Delta LakeとApache Icebergの両方に対応します。
▶︎databricks.com/jp/blog/trans…
🔄 複数の処理・テーブルの更新を「すべて成功」または「すべてロールバック」で実行できます。たとえば、売上テーブルと在庫テーブルをまとめて更新し、途中で失敗したら両方を元に戻せます。
💡 トランザクション制御のために別のデータウェアハウスを用意する必要がなくなります。データの重複コピーや移動、ガバナンスの二重管理、整合性を保つための独自コードを削減できます。
⚡ 行レベルの並列処理により、同じ行を更新しない複数のトランザクションが、同一テーブルへ同時に書き込めます。整合性を守りながら、処理の並列性を高めます。
🛠️ ストアドプロシージャや一時テーブル、Unity Catalogの行レベルセキュリティ・列マスキングにも対応します。複数テーブルを更新するETLや既存プロシージャの移行を、オープンなレイクハウス上で支えます。
#Databricks #Lakehouse
