Data Engineering Feed JP retweeted
12/9 (水)年内最後の ClickHouse Meet-up! #langufuse コミュニティと共同で実施します!
最新プロダクトアップデートやお客様のLTなどアジェンダも目白押し🚀
今すぐお申し込みを:
connpass.com/event/412652/
Data Engineering Feed JP retweeted
基幹システムの保守に AI を活用:
1 週間の影響調査をわずか 1 日に短縮
→ goo.gle/4fqU13H
SOMPOシステムズは、大規模なコードの保守に AI を取り入れるため、Tech Acceleration Program(TAP)で検証。Cloud Workstations とナレッジグラフを起点に、プラットフォーム エンジニアリングを進めます。
今年もやってきます!
2026年11月27日にザ・プリンスパークタワー東京で開催される「Data + AI World Tour Tokyo」!
データ活用、AI戦略の加速、独自AIやAIエージェントの大規模実装をテーマに、ビジネスにおける成功の鍵を解き明かしましょう!
楽天さん、みずほさん、KDDIさん、ソニーさん、MIXIさんなどの各業界のリーダー、そしてDatabricksの技術陣が多数登壇、豊富な事例や最新機能を紹介します!
皆様は、基調講演やセッションを通じデータとAIの今を感じて頂けること請け合いです!
な、なんかメチャクチャ人来るみたいなので、ザ・プリンスパークタワー東京で僕と握手!できたら今年の運はいいかもです!(ほんまか?
dataaisummit.databricks.com/…
Data Engineering Feed JP retweeted
アカウントロールをユーザーに一時的に付与できる機能がプレビュー公開されました。`GRANT ROLE`実行時に`FOR INTERVAL`句で有効期間、`UNTIL`句で有効期限を指定可能です。期限切れ後は自動的にアクセス権が失効するため、手動での取り消しが不要...
docs.snowflake.com/release-n…
#Snowflake #SnowflakeDB
Data Engineering Feed JP retweeted
Snowflakeのデータを
Excel / Google スプレッドシートと直結する「CoCo」登場!!
ExcelやGoogleスプレッドシートから
直接Snowflakeのデータを安全に読み込み・分析可能に!
#Snowflake #Excel #Googleスプレッドシート
snowflake.com/ja/blog/snowfl…
Data Engineering Feed JP retweeted
🔍 検索基盤を増やさず、Postgresでハイブリッド検索を実現しませんか?
Lakebase Searchのサイジングの勘所を、実アプリと最大400万パッセージの検証からご紹介します!
▶︎databricks.com/jp/blog/sizin…
🗄️ アプリも検索も、ひとつのDBに
ベクトル検索とBM25キーワード検索をPostgres内で実行できます。社内アプリ「Slide Hub」では、約700本のプレゼンから抽出した2万3,000行のスライドを管理し、検索結果の統合・フィルター・結合まで1つのSQL文で処理しています。
⚡ 速度のカギは「件数」より「キャッシュ比率」です
ローカルキャッシュをベクトルインデックスとほぼ同じサイズにすると、95〜98%のページがメモリに載り、ウォーム時のベクトル検索は1桁ミリ秒に短縮されました。
📊 400万件でも性能を検証しています
16 CUでは、偏りのあるクエリミックスで毎秒65クエリを達成しました。品質重視のビルド設定では、Recall@10が0.74から0.80へ改善しました。
💡 増強前にボトルネックを確認しましょう
DBだけでなくアプリ側も確認し、本番は常時稼働、開発・テストはゼロスケールで使い分けるのがおすすめです。
#Databricks #Postgres #ベクトル検索
Data Engineering Feed JP retweeted
2週間後!製造業・自動車のAI最前線が集結🔥
SWT Industry Recap Day1
📅10/27(火)14:00〜 オンライン
🎤日産/リコー/ソニーSSS/デンソー/パナコネ
💡データAI-Ready化からCortex活用まで伝授!
#Snowflake #SWTTokyo26
👉事前登録はこちらから
snowflake.com/about/webinars…
Data Engineering Feed JP retweeted
Claude Haiku 5.5モデルがCortex REST APIでパブリックプレビューとして利用可能になりました。クロスリージョン推論をサポートしており、`CORTEX_ENABLED_CROSS_REGION`を`ANY_REGION`、`AWS_GLOBAL`、`AWS_US`、`AWS_EU`、`AWS_APJ`、`AWS_JP`、...
docs.snowflake.com/release-n…
#Snowflake #SnowflakeDB
Data Engineering Feed JP retweeted
CoCo(CLI・Desktop・Snowsight)にて、ユーザー管理の制限セッションスコープ(RSS)が一般提供開始。個別のCoCoチャットを読み取り専用アクセスや特定ロールに制限可能。ユーザー管理RSSは、自身のロールおよび管理者設定のRSSで許可された権限...
docs.snowflake.com/release-n…
#Snowflake #SnowflakeDB
Data Engineering Feed JP retweeted
🚀 Postgresだけで、キーワード検索もセマンティック検索も!
Databricksは「Lakebase Search」をAWS/Azureで一般提供開始しました。
▶︎databricks.com/jp/blog/lakeb…
🔍 2つの拡張機能で検索を強化します
・lakebase_vector:意味の近さで探すベクトル検索です。
・lakebase_text:キーワードとの関連度で探すBM25全文検索です。
・両者を組み合わせたハイブリッド検索も、運用データと同じPostgres内で実行できます。別の検索システムやETLは不要です。
⚡ 1億ベクトル規模でも高性能です
・VectorDBBenchでは、2位のシステムの2倍のスループットを達成しました。
・pgvector利用のクラウドPostgres比でコストは4分の1です。再現率97%でP99レイテンシ71msを実現しました。
☁️ AIエージェントの突発的な検索需要にも対応します
・ゼロスケール対応のサーバーレス構成で、課金はデータ量ではなくクエリ使用量ベースです。
・コールドスタートは約1秒。必要なときに素早く検索を始められます。
💡 検索基盤をシンプルにしながら、大規模AIアプリの開発・運用を加速します。
#Databricks #Postgres #AI
Data Engineering Feed JP retweeted
dbtをもっとローカルでゴリゴリやれるようになったぞ
dbt unit testのローカル実行機能を触ってみて、使いどころを考える|detaneeee zenn.dev/churadata/articles/… #zenn
Data Engineering Feed JP retweeted
Databricks に ai_decide (ベータ) が追加されました。Jev のような判定モデルを SQL から呼べる AI Functions です。日本語で試したところ、内容がはっきりした文は英語と同じ答えになりました。選択肢のどれにも当てはまらない入力では、実行するたびに答えが変わることもありました。
qiita.com/taka_yayoi/items/5…
Data Engineering Feed JP retweeted
Snowflakeのデータからダッシュボードを作る — 対話型BI「Squadbase」を実際に試してみた
zenn.dev/nttdata_tech/articl…
バックエンドエンジニアじゃなくてもGenieを使ってDatabricks Appsでアプリケーションを作れるGenie App Builderがベータで出ました!
弥生さんがためしてくれてますので是非みてみてくださいー!
Genie App Builder (ベータ) で、自然言語からDatabricks Appsを作ってデプロイしました。プロンプト1本で売上ダッシュボードが完成。テーブルを読むアプリは、App SpaceのAPIスコープに sql を追加してユーザー認可で動かすのがポイントです。
qiita.com/taka_yayoi/items/b…
#Databricks #生成AI
Data Engineering Feed JP retweeted
🤖 AIがデータにつながるだけでは、ビジネスの「正解」には届きません。
Databricksの「Genie One MCP」で、あらゆるMCP対応AIエージェントに適切なビジネスコンテキストを届けます!
▶︎databricks.com/jp/blog/genie…
🔍 なぜコンテキストが必要?
・同じ「純売上高」でも、定義や参照するデータが違えば回答は変わります。正確な判断には、指標の意味、信頼できる情報源、データの関係性、閲覧権限の理解が欠かせません。
🧠 Genie Ontologyが知識を統合
・承認済みの指標定義やアクセスポリシーに、ノートブックやダッシュボードなどから推測したコンテキストを組み合わせ、根拠までたどれる回答を支えます。
🔗 いつものAIで活用
・ChatGPT、Claude、Microsoft Copilotなどへ、MCP経由でコンテキストを提供します。MCP Apps対応クライアントでは、可視化や出典付きの対話型ビューも利用できます。
🔐 権限もガバナンスも維持
・代理(OBO)認証により、Unity Catalogの権限・行フィルター・列マスクをユーザー単位で適用します。監査ログやクエリ履歴で管理・監視も可能です。
#Databricks #生成AI #MCP
Data Engineering Feed JP retweeted
同僚にAgentCoreの魅力を熱く毎日語っていたら素敵なブログを書いてくれました!!ありがとうございます!!!!まずイラストで理解しよう!!!
イラストで理解するAmazon Bedrock AgentCore dev.classmethod.jp/articles/… #DevelopersIO
Data Engineering Feed JP retweeted
🤖 AIエージェントの本番運用、データベース選びで差がつくことをご存じですか?
エージェントは「1回に1リクエスト」ではなく、短期・エピソード・手続きメモリと運用状態を、複数ステップ・セッションにわたって同時に読み書きします。メモリの陳腐化や書き込み競合を防ぐには、次の5基準が重要です👇
databricks.com/jp/blog/datab…
🌿 安全に試せること
本番データをコピーせず、エージェントごとの検証環境を数秒で作れるゼロコピーブランチです。
💤 待機コストを抑えること
アイドル時はコンピュート課金を止め、1秒未満で復帰できる仕組みです。
🔎 必要な情報を素早く探せること
ベクトル・キーワード・メタデータを組み合わせ、単一クエリで100ミリ秒未満の検索を目指します。
🔒 同時更新でもデータを守れること
ACID保証に加え、上書き消失を防ぐ分離レベルの確認が必要です。
🔗 データを分断しないこと
ETLを介さず、運用データと分析・AIを同じ基盤で扱えることです。
DatabricksのLakebaseは、この5基準に対応します。エージェントを「動くデモ」から「信頼できる本番」へ進めませんか?🚀
#Databricks #AIエージェント
Data Engineering Feed JP retweeted
Streamlit in Snowflakeアプリを外部ページに埋め込む機能がGAになりました。`<iframe>`タグ1つで、カスタマーポータルや社内ダッシュボードにアプリを表示できます。バックエンドからREST APIで短期間有効な埋め込みURLを発行する仕組みで、SQLセ...
docs.snowflake.com/release-n…
#Snowflake #SnowflakeDB
Data Engineering Feed JP retweeted
\秋休みに、Databricksを学ぼう🍁/
どなたでも使える日本語情報ポータル「Databricks Contents Hub」をご紹介📚
日本語の学習教材やワークショップ、YouTube動画、イベント情報をまとめてチェック!
気になる機能のキャッチアップや、社内勉強会の教材探しに、ぜひご活用ください✨
▶︎ databricks-contents-hub.verc…
※有志運営の非公式ポータルです。
#Databricks #生成AI
Data Engineering Feed JP retweeted
製品紹介ではなく、その製品が描いている世界観を語ってほしい。とても抽象的で少し無茶なお願いをして、それを受け止めてくれた人たちと、一緒につくっているのが「データの世界観チャネル」です。参加受付中
datayokocho.connpass.com/eve…













