AWS Monthly (2025년 8월): 빅데이터, 제로 에포트
8월은 'Data Gravity'에 관한 달이었다. Amazon Aurora 스토리지 한도가 256 TiB로 증가하여, 99.9%의 기업에게 '샤딩' 논의는...
8월은 "Data Gravity"에 관한 달이었다. Amazon Aurora 스토리지 한도가 256 TiB로 증가하여, 99.9%의 기업에게 "샤딩" 논의는 사실상 끝났다.
그러나 진정한 주인공은 Zero-ETL 통합의 확장이었다. AWS는 Aurora에서 OpenSearch로, RDS에서 Redshift로의 원활하고 거의 실시간에 가까운 복제를 가능하게 했다. 데이터베이스의 내부 트랜잭션 로그를 활용하여 AWS는 소스 데이터베이스의 컴퓨트에 영향을 주지 않고 분석 엔진으로 데이터를 복제한다.
데이터 엔지니어에게 이는 간단한 동기화 작업을 위한 취약한 Python/Glue ETL 파이프라인의 종말을 의미한다. 또한 DynamoDB에 "Attribute-Based Access Control"(ABAC)이 도입되어, 복잡한 IAM 정책 대신 태그를 통해 권한을 관리할 수 있게 되었다.
8월은 데이터의 미래가 데이터를 이동하는 데 있는 것이 아니라, 데이터가 있는 바로 그 자리에서 접근 가능하게 만드는 데 있음을 증명했다.
Ercan의 다른 글
같은 저자, 다른 영역의 사이트 두 개.