解決可能な課題
データ分析・機械学習を行うために最初に必要なデータの準備を迅速・簡潔・低コストに実現します
- 活用したいデータソースが複数存在しており、これらのデータを統合する必要がある
- 迅速にデータ統合を実現したい
- 大容量のデータを統合する必要がある
- データ統合基盤にかかる運用負荷やコストを軽減したい
- ETLからデータ分析モデルまでを統合したデプロイ・実行を行いたい
サービスのご紹介
![](https://storage.googleapis.com/website1-prd-wordpress-bkt/1/2023/08/Glueサービスアーキテクチャ図_20230829.png)
![](https://storage.googleapis.com/website1-prd-wordpress-bkt/1/2023/08/AdobeStock_377490376-e1693380494808-1040x527.jpeg)
データ準備・ETL
AWS Glue Studio/DatabrewによるノーコードETLジョブ開発から、ETLスクリプトによる高度なジョブ開発まで用途や目的に応じた多彩なETL実装が可能です。
![](https://storage.googleapis.com/website1-prd-wordpress-bkt/1/2023/08/AdobeStock_497014279-e1693380374262-1040x523.jpeg)
分析・モデリング
Python Shellジョブを使用して、AWS GlueでシェルとしてPythonスクリプトを実行できます。ETLから予測分析モデルの実行までをシームレスに実行することが可能になります。
![](https://storage.googleapis.com/website1-prd-wordpress-bkt/1/2023/08/AdobeStock_302853445-1040x693.jpeg)
データカタログ
AWS Glue Data Catalogは、AWS GlueのETLジョブのデータソース・ターゲットデータに関するメタデータを保持するメタデータストアです。
カタログ化されたデータは、すぐに Amazon Athena、Amazon EMR、Amazon Redshift Spectrum を使用した検索やクエリで利用できるようになります。
![](https://storage.googleapis.com/website1-prd-wordpress-bkt/1/2023/08/AdobeStock_501696967-1-1040x694.jpeg)
可視化
Glueで統合したデータはAmazon AthenaやAmazon QuickSightをはじめとするBIツールによって迅速に可視化できます。
導入によるメリット
- サーバレスデータ統合によるコストの最適化
- AWS Glue Studioによる、簡易かつ迅速なAWS Glue ETL ジョブの視覚的な作成、実行、モニタリング
- 一元化されたデータカタログによるデータの再利用と効率化・データ活用促進
- NI+Cの実績と経験に基づいた導入~データ活用の支援