Modern Data Platform using AWS and Snowflake

이 아키텍처를 통해 고객은 AWS 및 Snowflake를 사용하여 종단 간 최신 데이터 분석 플랫폼을 구축할 수 있습니다.

[아키텍처 설명]

1. 데이터는 엔터프라이즈, SaaS(Software as a Service) 애플리케이션, 에지 장치, 로그, 스트리밍 데이터 및 소셜 미디어 네트워크 전반의 여러 데이터 소스에서 수집됩니다.
2. 데이터 원본 유형에 따라 AWS Database Migration Service, AWS DataSync, Amazon Kinesis, Amazon Managed Streaming for Apache Kafka, AWS IoT Core, AWS Glue 및 Amazon AppFlow를 사용하여 AWS의 데이터 레이크로 데이터 수집
3. Amazon S3는 완전 관리형, 고가용성 및 확장 가능한 데이터 레이크 스토리지에 사용됩니다.
4. AWS Glue는 여러 데이터 저장소에서 데이터를 추출, 변환 및 수집하는 데 사용됩니다. Amazon EMR은 오픈 소스를 사용하여 방대한 양의 데이터를 처리할 수 있는 클라우드 빅 데이터 플랫폼을 제공합니다. 분석 프레임워크. AWS Lambda 및 Amazon EC2는 데이터 강화 요구 사항에 대한 컴퓨팅 기능을 제공합니다.
5. Apache Airflow(MWAA) 또는 AWS Step Functions용 Amazon Managed Workflows는 종단 간 데이터 파이프라인을 조정하는 데 사용됩니다.
6. AWS Lake Formation을 사용하면 데이터 레이크를 쉽게 구축, 보호 및 관리할 수 있으므로 단일 장소에서 데이터 분류를 시행하고 세분화된 액세스를 관리할 수 있습니다. AWS IAM 및 AWS STS는 액세스 권한 및 임시 자격 증명을 관리하는 기능을 제공합니다.
7. Snowflake는 외부 테이블을 사용하여 Amazon S3를 쿼리하고 SnowPipe를 사용하여 자동화된 연속 데이터 수집 기능을 갖춘 가상 데이터 웨어하우스로 사용됩니다.
8. Amazon SageMaker를 사용하여 기계 학습(ML) 모델을 구축, 교육 및 배포하고 애플리케이션에 인텔리전스를 추가할 수 있습니다. Amazon QuickSight는 ML 기반 비즈니스 인텔리전스(BI)를 제공합니다.