반응형
이 아키텍처를 통해 고객은 AWS 및 Snowflake를 사용하여 종단 간 최신 데이터 분석 플랫폼을 구축할 수 있습니다.
[아키텍처 설명]
- 데이터는 엔터프라이즈, SaaS(Software as a Service) 애플리케이션, 에지 장치, 로그, 스트리밍 데이터 및 소셜 미디어 네트워크 전반의 여러 데이터 소스에서 수집됩니다.
- 데이터 원본 유형에 따라 AWS Database Migration Service, AWS DataSync, Amazon Kinesis, Amazon Managed Streaming for Apache Kafka, AWS IoT Core, AWS Glue 및 Amazon AppFlow를 사용하여 AWS의 데이터 레이크로 데이터 수집
- Amazon S3는 완전 관리형, 고가용성 및 확장 가능한 데이터 레이크 스토리지에 사용됩니다.
- AWS Glue는 여러 데이터 저장소에서 데이터를 추출, 변환 및 수집하는 데 사용됩니다. Amazon EMR은 오픈 소스를 사용하여 방대한 양의 데이터를 처리할 수 있는 클라우드 빅 데이터 플랫폼을 제공합니다. 분석 프레임워크. AWS Lambda 및 Amazon EC2는 데이터 강화 요구 사항에 대한 컴퓨팅 기능을 제공합니다.
- Apache Airflow(MWAA) 또는 AWS Step Functions용 Amazon Managed Workflows는 종단 간 데이터 파이프라인을 조정하는 데 사용됩니다.
- AWS Lake Formation을 사용하면 데이터 레이크를 쉽게 구축, 보호 및 관리할 수 있으므로 단일 장소에서 데이터 분류를 시행하고 세분화된 액세스를 관리할 수 있습니다. AWS IAM 및 AWS STS는 액세스 권한 및 임시 자격 증명을 관리하는 기능을 제공합니다.
- Snowflake는 외부 테이블을 사용하여 Amazon S3를 쿼리하고 SnowPipe를 사용하여 자동화된 연속 데이터 수집 기능을 갖춘 가상 데이터 웨어하우스로 사용됩니다.
- Amazon SageMaker를 사용하여 기계 학습(ML) 모델을 구축, 교육 및 배포하고 애플리케이션에 인텔리전스를 추가할 수 있습니다. Amazon QuickSight는 ML 기반 비즈니스 인텔리전스(BI)를 제공합니다.
반응형