NVMe 스토리지와 AWS EBS 볼륨 타입: 성능과 지연률 최적화 전략

ㅁ 들어가며

[AWS] Amazon EBS gp2 vs gp3 비교
[AWS] EBS gp2 생성, gp3 업그레이드, 포퍼먼스 테스트
Elasticsearch와 같은 고가용성과 I/O 집약적인 시스템을 운영할 때 작성한 글들이다.  이처럼 스토리지 성능과 지연률은 시스템의 성공을 좌우하는 중요한 요소이다. 특히 NVMe 스토리지를 컴퓨팅 인스턴스에 직접 연결하는 혁신적인 아키텍처는 초고속 성능과 낮은 지연률을 제공하며, AWS EBS 볼륨 타입을 활용하면 클라우드 환경에서도 이러한 이점을 누릴 수 있다. 이번 글에서는 NVMe 스토리지의 특징과 AWS EBS 볼륨 타입과 연결하여 지연률을 최적화하는 방법을 정리하였다.

 

ㅁ NVMe 스토리지의 혁신

  NVMe(Non-Volatile Memory Express)는 플래시 스토리지와 SSD(Solid State Drive)를 위해 특별히 설계된 고성능 스토리지 프로토콜이다.  

 

ㅇ 고성능

 NVMe는 PCIe(PCI-Express)를 통해 SSD를 CPU에 직접 연결하여 기존 SATA나 SAS 인터페이스보다 훨씬 빠른 데이터 전송 속도를 제공한다. 
ㅇ 낮은 지연 시간

 기존 HDD나 SATA SSD에 비해 훨씬 낮은 지연 시간을 실현하여 빠른 응답 속도를 제공한다. 

ㅇ 병렬 처리

 NVMe는 최대 65,000개의 명령 대기열을 지원하여 동시에 여러 I/O 작업을 처리할 수 있다.

ㅇ 효율적인 프로토콜

 NVMe 프로토콜은 SSD에 최적화되어 있어, 기존 SCSI 프로토콜보다 더 간소화되고 효율적이다.
ㅇ 다양한 응용 분야

 고성능이 요구되는 엔터프라이즈 워크로드, 인공지능, 머신러닝, 실시간 애플리케이션, 비디오 편집 등 다양한 분야에서 활용된다.
ㅇ 클라우드 환경 지원

 NVMe는 하이브리드 클라우드, 멀티클라우드, 메인프레임 스토리지 환경을 효과적으로 지원한다. 

 

  AWS 환경에서는 NVMe 기반 로컬 SSD와 EBS 볼륨을 활용하여 비슷한 효과를 얻을 수 있다. AWS EBS는 다양한 볼륨 타입을 제공하며, 각 볼륨 타입은 특정 워크로드에 최적화되어 있다.

 

 

---

ㅁ AWS EBS 볼륨 타입과 지연률

AWS에서 제공하는 EBS 볼륨 타입 중 Elasticsearch와 같은 I/O 집약적인 워크로드에 적합한 옵션은 다음과 같다.

 

1. Provisioned IOPS SSD (io1/io2)

• 지연 시간: io1 및 io2 볼륨은 매우 낮은 지연 시간을 제공하며, 일반적으로 1ms 미만으로 유지된다.
• 특징: 최대 64,000 IOPS와 1,000 MiB/s의 처리량을 제공하며, 고성능 데이터베이스 및 트랜잭션 애플리케이션에 적합하다.
• 사용 사례: Elasticsearch 클러스터에서 색인 작업과 검색 쿼리를 처리할 때 높은 성능과 낮은 지연 시간이 요구되는 경우 유용하다.
• 장점: Multi-Attach 기능으로 여러 EC2 인스턴스가 동일한 EBS 볼륨에 접근 가능하여 고가용성을 지원한다.

2. General Purpose SSD (gp3)

• 지연 시간: gp3는 한자리 밀리초(1~9ms)의 빠른 응답 속도를 제공
• 특징: 최대 16,000 IOPS와 1,000 MiB/s 처리량을 제공하며, 비용 효율성이 뛰어남
• 사용 사례: Elasticsearch의 일반적인 색인 및 검색 작업에서 성능과 비용 균형이 필요한 경우 적합
• 장점: gp2 대비 더 높은 처리량과 낮은 비용으로 운영 가능

3. NVMe 기반 로컬 SSD

• 지연 시간: 로컬 NVMe SSD는 초저지연(수 마이크로초 수준)을 제공하여 데이터 전송 속도를 극대화한다.
• 특징: EC2 인스턴스에 직접 연결된 NVMe SSD는 초고속 IOPS와 낮은 지연 시간을 제공
• 사용 사례: 캐싱, 로그 처리 등 데이터 영속성이 필요하지 않은 워크로드에서 사용 가능
• 장점: 데이터베이스의 임시 테이블 저장소 또는 Elasticsearch의 캐시 파일 저장소로 활용 가능.

 

---

 

ㅁ NVMe 스토리지 아키텍처와 AWS 활용 전략

NVMe 스토리지를 직접 연결하는 방식은 기존의 SDS 계층을 제거하여 데이터 경로를 단순화하고 성능을 극대화한다. 이를 AWS 환경에서 구현하려면 다음 전략을 고려할 수 있다.

 

클러스터 확장 및 샤딩

Elasticsearch 클러스터를 확장하고 데이터를 샤딩하여 I/O 병목 현상을 분산시킵니다. 이를 통해 gp3 또는 io2 볼륨의 성능을 최대한 활용할 수 있다.

 

NVMe 기반 로컬 SSD 활용

AWS EC2 인스턴스의 로컬 NVMe SSD를 Elasticsearch 캐싱 용도로 사용하면 색인 속도를 크게 향상시키고 초저지연 응답 속도를 제공한다.

 

io2 Block Express 사용

최고 성능이 필요한 경우 io2 Block Express를 선택하면 엔터프라이즈급 내구성과 성능을 제공받을 수 있다.

 

ㅁ 마무리

Elasticsearch와 같은 시스템에서 NVMe 스토리지를 직접 연결하거나 AWS EBS 볼륨 타입을 적절히 선택하면 고성능과 고가용성을 동시에 달성할 수 있습니다. 특히 io2와 gp3는 비용 효율성과 성능 사이에서 균형 잡힌 선택지이며, 로컬 NVMe SSD는 실시간 데이터 처리에 최적화된 옵션이다.

AWS 환경에서 이러한 전략을 적용하면 I/O 병목 현상을 해결하고 워크로드 요구 사항에 맞는 최적의 스토리지 아키텍처를 구축할 수 있다. 초저지연 응답 속도와 높은 처리량이 필요한 경우, NVMe 기반 솔루션이 가장 강력한 선택이 될 것이다.

 

ㅁ 함께 보면 좋은 사이트

ㅇ AWS EBS 비용 최적화 방법

ㅇ 클러스터에 노드 추가 시 Elasticsearch 성능 극대화