AWS Monthly (Aug '25): ビッグデータ、ゼロ努力
8月は「データ重力」がテーマだった。Amazon Auroraのストレージ上限が256 TiBに引き上げられ、99.9%の企業にとって「シャーディング」の議論が事実上終了した。
8月は「データ重力」がテーマだった。Amazon Auroraのストレージ上限が256 TiBに引き上げられ、99.9%の企業にとって「シャーディング」の議論が事実上終了した。
しかし、真の主役はZero-ETL統合の拡張だった。AWSはAuroraからOpenSearchへ、そしてRDSからRedshiftへのシームレスでほぼリアルタイムのレプリケーションを可能にした。データベースの内部トランザクションログを活用することで、AWSはソースデータベースのコンピュートに影響を与えることなく、分析エンジンにデータをレプリケートする。
データエンジニアにとって、これは単純な同期タスクのための脆弱なPython/Glue ETLパイプラインの終焉を意味する。DynamoDBにも「属性ベースのアクセス制御」(ABAC)が導入され、複雑なIAMポリシーではなくタグを通じて権限を管理できるようになった。
8月は、データの未来が「データを移動すること」ではなく、「データがある場所でそのままアクセス可能にすること」にあることを証明した。
Ercan の他のサイト
同じ著者、別の領域のサイトが2つ。