Data Engineering Feed JP (@DataEngFeedJP) header
Data Engineering Feed JP (@DataEngFeedJP) profile picture

データエンジニアリングにまつわる技術情報を発信するBotです 文章の生成にはAIを用いているため、正確な内容はリンク先をご参照下さい 毎日の情報収集のお供に

Joined August 2025
Data Engineering Feed JP retweeted
12/9 (水)年内最後の ClickHouse Meet-up! #langufuse コミュニティと共同で実施します! 最新プロダクトアップデートやお客様のLTなどアジェンダも目白押し🚀 今すぐお申し込みを: connpass.com/event/412652/
1
4
172
Data Engineering Feed JP retweeted
基幹システムの保守に AI を活用: 1 週間の影響調査をわずか 1 日に短縮 → goo.gle/4fqU13H SOMPOシステムズは、大規模なコードの保守に AI を取り入れるため、Tech Acceleration Program(TAP)で検証。Cloud Workstations とナレッジグラフを起点に、プラットフォーム エンジニアリングを進めます。
1
1
9
2,227
Data Engineering Feed JP retweeted
今年もやってきます! 2026年11月27日にザ・プリンスパークタワー東京で開催される「Data + AI World Tour Tokyo」! データ活用、AI戦略の加速、独自AIやAIエージェントの大規模実装をテーマに、ビジネスにおける成功の鍵を解き明かしましょう! 楽天さん、みずほさん、KDDIさん、ソニーさん、MIXIさんなどの各業界のリーダー、そしてDatabricksの技術陣が多数登壇、豊富な事例や最新機能を紹介します! 皆様は、基調講演やセッションを通じデータとAIの今を感じて頂けること請け合いです! な、なんかメチャクチャ人来るみたいなので、ザ・プリンスパークタワー東京で僕と握手!できたら今年の運はいいかもです!(ほんまか? dataaisummit.databricks.com/…
1
8
1
29
3,321
アカウントロールをユーザーに一時的に付与できる機能がプレビュー公開されました。`GRANT ROLE`実行時に`FOR INTERVAL`句で有効期間、`UNTIL`句で有効期限を指定可能です。期限切れ後は自動的にアクセス権が失効するため、手動での取り消しが不要... docs.snowflake.com/release-n… #Snowflake #SnowflakeDB
11
7
33
4,257
Data Engineering Feed JP retweeted
🔍 検索基盤を増やさず、Postgresでハイブリッド検索を実現しませんか? Lakebase Searchのサイジングの勘所を、実アプリと最大400万パッセージの検証からご紹介します! ▶︎databricks.com/jp/blog/sizin… 🗄️ アプリも検索も、ひとつのDBに ベクトル検索とBM25キーワード検索をPostgres内で実行できます。社内アプリ「Slide Hub」では、約700本のプレゼンから抽出した2万3,000行のスライドを管理し、検索結果の統合・フィルター・結合まで1つのSQL文で処理しています。 ⚡ 速度のカギは「件数」より「キャッシュ比率」です ローカルキャッシュをベクトルインデックスとほぼ同じサイズにすると、95〜98%のページがメモリに載り、ウォーム時のベクトル検索は1桁ミリ秒に短縮されました。 📊 400万件でも性能を検証しています 16 CUでは、偏りのあるクエリミックスで毎秒65クエリを達成しました。品質重視のビルド設定では、Recall@10が0.74から0.80へ改善しました。 💡 増強前にボトルネックを確認しましょう DBだけでなくアプリ側も確認し、本番は常時稼働、開発・テストはゼロスケールで使い分けるのがおすすめです。 #Databricks #Postgres #ベクトル検索
2
7
778
Claude Haiku 5.5モデルがCortex REST APIでパブリックプレビューとして利用可能になりました。クロスリージョン推論をサポートしており、`CORTEX_ENABLED_CROSS_REGION`を`ANY_REGION`、`AWS_GLOBAL`、`AWS_US`、`AWS_EU`、`AWS_APJ`、`AWS_JP`、... docs.snowflake.com/release-n… #Snowflake #SnowflakeDB
1
6
392
CoCo(CLI・Desktop・Snowsight)にて、ユーザー管理の制限セッションスコープ(RSS)が一般提供開始。個別のCoCoチャットを読み取り専用アクセスや特定ロールに制限可能。ユーザー管理RSSは、自身のロールおよび管理者設定のRSSで許可された権限... docs.snowflake.com/release-n… #Snowflake #SnowflakeDB
5
15
901
Data Engineering Feed JP retweeted
🚀 Postgresだけで、キーワード検索もセマンティック検索も! Databricksは「Lakebase Search」をAWS/Azureで一般提供開始しました。 ▶︎databricks.com/jp/blog/lakeb… 🔍 2つの拡張機能で検索を強化します ・lakebase_vector:意味の近さで探すベクトル検索です。 ・lakebase_text:キーワードとの関連度で探すBM25全文検索です。 ・両者を組み合わせたハイブリッド検索も、運用データと同じPostgres内で実行できます。別の検索システムやETLは不要です。 ⚡ 1億ベクトル規模でも高性能です ・VectorDBBenchでは、2位のシステムの2倍のスループットを達成しました。 ・pgvector利用のクラウドPostgres比でコストは4分の1です。再現率97%でP99レイテンシ71msを実現しました。 ☁️ AIエージェントの突発的な検索需要にも対応します ・ゼロスケール対応のサーバーレス構成で、課金はデータ量ではなくクエリ使用量ベースです。 ・コールドスタートは約1秒。必要なときに素早く検索を始められます。 💡 検索基盤をシンプルにしながら、大規模AIアプリの開発・運用を加速します。 #Databricks #Postgres #AI
1
3
1
22
2,098
Data Engineering Feed JP retweeted
dbtをもっとローカルでゴリゴリやれるようになったぞ dbt unit testのローカル実行機能を触ってみて、使いどころを考える|detaneeee zenn.dev/churadata/articles/… #zenn
8
19
1,526
Databricks に ai_decide (ベータ) が追加されました。Jev のような判定モデルを SQL から呼べる AI Functions です。日本語で試したところ、内容がはっきりした文は英語と同じ答えになりました。選択肢のどれにも当てはまらない入力では、実行するたびに答えが変わることもありました。 qiita.com/taka_yayoi/items/5…
1
3
1
18
1,655
Snowflakeのデータからダッシュボードを作る — 対話型BI「Squadbase」を実際に試してみた zenn.dev/nttdata_tech/articl…
2
20
1,093
Data Engineering Feed JP retweeted
バックエンドエンジニアじゃなくてもGenieを使ってDatabricks Appsでアプリケーションを作れるGenie App Builderがベータで出ました! 弥生さんがためしてくれてますので是非みてみてくださいー!
Genie App Builder (ベータ) で、自然言語からDatabricks Appsを作ってデプロイしました。プロンプト1本で売上ダッシュボードが完成。テーブルを読むアプリは、App SpaceのAPIスコープに sql を追加してユーザー認可で動かすのがポイントです。 qiita.com/taka_yayoi/items/b… #Databricks #生成AI
5
20
2,408
Data Engineering Feed JP retweeted
🤖 AIがデータにつながるだけでは、ビジネスの「正解」には届きません。 Databricksの「Genie One MCP」で、あらゆるMCP対応AIエージェントに適切なビジネスコンテキストを届けます! ▶︎databricks.com/jp/blog/genie… 🔍 なぜコンテキストが必要? ・同じ「純売上高」でも、定義や参照するデータが違えば回答は変わります。正確な判断には、指標の意味、信頼できる情報源、データの関係性、閲覧権限の理解が欠かせません。 🧠 Genie Ontologyが知識を統合 ・承認済みの指標定義やアクセスポリシーに、ノートブックやダッシュボードなどから推測したコンテキストを組み合わせ、根拠までたどれる回答を支えます。 🔗 いつものAIで活用 ・ChatGPT、Claude、Microsoft Copilotなどへ、MCP経由でコンテキストを提供します。MCP Apps対応クライアントでは、可視化や出典付きの対話型ビューも利用できます。 🔐 権限もガバナンスも維持 ・代理(OBO)認証により、Unity Catalogの権限・行フィルター・列マスクをユーザー単位で適用します。監査ログやクエリ履歴で管理・監視も可能です。 #Databricks #生成AI #MCP
2
3
22
1,750
Data Engineering Feed JP retweeted
同僚にAgentCoreの魅力を熱く毎日語っていたら素敵なブログを書いてくれました!!ありがとうございます!!!!まずイラストで理解しよう!!! イラストで理解するAmazon Bedrock AgentCore dev.classmethod.jp/articles/… #DevelopersIO
16
1
96
7,444
Data Engineering Feed JP retweeted
🤖 AIエージェントの本番運用、データベース選びで差がつくことをご存じですか? エージェントは「1回に1リクエスト」ではなく、短期・エピソード・手続きメモリと運用状態を、複数ステップ・セッションにわたって同時に読み書きします。メモリの陳腐化や書き込み競合を防ぐには、次の5基準が重要です👇 databricks.com/jp/blog/datab… 🌿 安全に試せること 本番データをコピーせず、エージェントごとの検証環境を数秒で作れるゼロコピーブランチです。 💤 待機コストを抑えること アイドル時はコンピュート課金を止め、1秒未満で復帰できる仕組みです。 🔎 必要な情報を素早く探せること ベクトル・キーワード・メタデータを組み合わせ、単一クエリで100ミリ秒未満の検索を目指します。 🔒 同時更新でもデータを守れること ACID保証に加え、上書き消失を防ぐ分離レベルの確認が必要です。 🔗 データを分断しないこと ETLを介さず、運用データと分析・AIを同じ基盤で扱えることです。 DatabricksのLakebaseは、この5基準に対応します。エージェントを「動くデモ」から「信頼できる本番」へ進めませんか?🚀 #Databricks #AIエージェント
2
6
44
2,568
Streamlit in Snowflakeアプリを外部ページに埋め込む機能がGAになりました。`<iframe>`タグ1つで、カスタマーポータルや社内ダッシュボードにアプリを表示できます。バックエンドからREST APIで短期間有効な埋め込みURLを発行する仕組みで、SQLセ... docs.snowflake.com/release-n… #Snowflake #SnowflakeDB
10
5
56
8,346
Data Engineering Feed JP retweeted
\秋休みに、Databricksを学ぼう🍁/ どなたでも使える日本語情報ポータル「Databricks Contents Hub」をご紹介📚 日本語の学習教材やワークショップ、YouTube動画、イベント情報をまとめてチェック! 気になる機能のキャッチアップや、社内勉強会の教材探しに、ぜひご活用ください✨ ▶︎ databricks-contents-hub.verc… ※有志運営の非公式ポータルです。 #Databricks #生成AI
19
3
106
9,555