我々のチームでは、長年、データの近くで仕事をしており、Apache NiFiを含めて、多くの製品を評価、導入してきました。もともと、ETL/ELTを実現する製品群は、アダプタの数や種類で、製品の差がある程度決まっていました。そのため、各社競い合って、サポートするアダプタを増やしていました。その後、データマネジメント全般に関する機能（MDM、HUB、Quality、Catalog）といった機能を提供する製品が生まれ、同時に今度はクラウドサービスへの対応や、iPaaSのようなサービス形態、従量課金など様々な製品の差も生まれました。それぞれの進化が、ユーザのニーズに基づいて行われ、この領域は、多くの製品が切磋琢磨してきた領域だと考えています。
ここ数年、皆さんもご存じの通り、AI/MLやGenAIの進化が著しくなっています。そのため、新しいパイプラインの作成や、従来はあまりETL/ELT製品で扱ってこなかった、非構造データに関して、どのようにデータのパイプラインを組み立てるかなども、我々にとっては課題になってきていました。
特に、データサイエンティストの開発環境から成長したプロダクトには、AI/ML,GenAI関連のコネクタはあるのですが、ETL/ELT製品とは、別々の製品であることもあり、複数の製品を併用しながら、対応しているという課題がありました。
我々は、5年ほど前から、Snowflakeのビジネスを開始し、ユーザから多くの質問を受けてきました。その中には、「Snowflakeには、今はその機能はありません。他の製品と連携して利用してください」と回答してきたものもいくつかありました。しかし、例えば、複数のテーブルを利用したマテリアライズビューや、GenAIやRAGの機能のように、以前は対応していなかった機能も徐々に減りつつあり、「できますよ」と回答できるようになっています。今回、Openflowの登場によって、「顧客からETLの機能がないのか？」という質問に対して、「あります」と回答できるようになったことは、本当にうれしいことの1つです。Snowflakeは、One Platformを掲げてますので、今後もさらなる進化を期待しています。
今回、Openflowから、以下の3つの価値が提供されます。それぞれについて、自分なりの解釈をお伝えします。
- LIMITLESS INTEROPERABILITY
- TURBOCHARGE ETL FOR AI
- SCALE WITH CONFIDENCE
LIMITLESS INTEROPERABILITY
オープンソースベースであり、カスタムコネクタを簡単に開発することも可能になっています。さらに、相互接続性を中心に設計したということで、従来のコネクタに加えて、Apache IcebergのようなOTF関連の最新の機能、さらにはAI/ML、RAGなどを含めたGenAIをより簡単に扱うためのコネクタの充実には、大きな期待を寄せています。
TURBOCHARGE ETL FOR AI
SharePoint、Slack、Box、Google Driveなどのソースから直接マルチモーダルデータに接続して、様々な処理を動作させることや、Snowflake Cortex機能をうまく利用するなどAI関連との機能との様々な連携を可能することに期待しています。
SCALE WITH CONFIDENCE
昨今、ETL/ELT製品を利用する場合、セキュリティの観点と拡張性や保守の容易性でデプロイアーキテクチャが非常に重要になることを感じていました。Openflowも同様に、統合パイプラインのデプロイ先を柔軟に決定できます。Snowflakeのマネージドインフラストラクチャ（SPCS）経由、またはプライベートシステムに近い最も重要なデータソース（オンプレミスやOLTPデータソースなど）のVPC内のBYOC（Bring Your Own Cloud）経由のいずれにも配置可能で、かつOpenflowはSnowflakeによって管理されるため、パイプラインがどこにデプロイされていても運用負担が軽減されますし、実績管理機能が組み込まれているため、データソースに何が起こったかをすべてのステップで知ることができそうです。
Snowflake Summit 2025。今年で、4年連続の参加となりました。開催期間中に毎年、SNSで様々な感動を発信してきました。今回、Summitの中で、NTT DATAが、Snowflake Openflowのローンチをサポートするローンチ・パートナーに選出されたことが発表されました。
ローンチ・パートナーに選出されたことに感謝するとともに、このBlogを、基調講演のタイミングで、公開できるという非常に貴重な体験をさせていただくこととなりました。OpenflowがSnowflakeを利用の皆様の、AI活用をよりサポートすることを本当に祈っています。そして、AI Nativeな世界に向けて、よりAIが利用しやすいデータを準備し、お客様の経営課題や、社会課題の解決に、我々とSnowflakeが、ともに貢献できることを祈っています。
さて、当社のロゴが出たので、サンフランシスコからぽちっと。 公開♪
検証中画面
NTTデータ コンサルティング事業本部 では、以下の職種を募集しています。
Snowflake、生成AIを活用したデータ基盤構築/活用支援（Snowflake Data Superheroesとの協働）
Databricks、生成AIを活用したデータ基盤構築/活用支援（Databricks Championとの協働）
プロジェクトマネージャー（データ分析プラットフォームソリューションの企画～開発～導入／生成AI活用）
クラウドを活用したデータ分析プラットフォームの開発(ITアーキテクト/PM/クラウドエンジニア)
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation – Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとSnowflakeについて
NTTデータとSnowflakeについて
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。
NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。
NTTデータとDatabricksについて
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。
NTTデータとInformaticaについて
NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
NTTデータとTableauについて
NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
NTTデータとAlteryxについて
NTTデータとAlteryxについて
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。
Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
NTTデータとDataRobotについて
NTTデータとDataRobotについて
DataRobotは、包括的なAIライフサイクルプラットフォームです。
NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
Views: 2
