인도 정부 소속 연구소, 기상 연구 및 예측을 위한 스토리지로 인포트렌드의 스토리지 채택

인도 정부 소속 연구소, 기상 연구 및 예측을 위한 스토리지로 인포트렌드의 스토리지 채택

인도의 정부 소속 연구소는 기상 및 우주 과학 분야에서의 기초 및 응용 연구에 특화된 주요 센터입니다. 과학 연구와 시뮬레이션의 계산적 요구를 충족하기 위해 연구소에서는 온 프레미스 HPC 데이터 센터가 있습니다. 기상 예측 및 대기 과학 연구에 대한 필요성을 충족하기 위해 연구소는 HPC에 의존하는 기상 예측 모델(WFR)을 사용하고 있습니다.

1) 입력 데이터를 가져오는 것, 즉 여러 지역에서 촬영된 대량의 고해상도 이미지를 WRF 초기 조건으로 제공하기 위함입니다. 2) 예측 모델 실행, 입력 데이터의 패턴을 식별하고 출력 데이터를 분석하기 위해 연구소는 PyTorch 프레임워크와 고성능 XFS 파일 시스템 내에서 Conda 환경에서 딥 러닝 신경망을 구축합니다.

최근 연구소에서 배포하는 HPC 클러스터의 크기가 증가함에 따라 WRF 모델의 복잡성도 증가했습니다. 이로인해 스토리지 I/O 처리량에 대한 요구도 증가했으며 부족한 저장 성능으로 인해 WRF의 대기 시뮬레이션을 효율적으로 생성하는데 병목 현상까지 발생하였습니다. 결과적으로 가장 중요한 기상 예측의 정확도에 부정적인 영향도 미쳤습니다.

WRD 출력의 속도를 개선하고 기상 예측 정확도를 최적화하기 위해 연구소는 기존의 오래된 스토리지를 새로운 고성능 스토리지 솔루션으로 교체해야 했습니다.

도전 과제

• WRF 모델의 I/O 집약적인 워크로드에 대한 오래된 스토리지 시스템은 낮은 성능을 제공하며 이는 날씨 시뮬레이션의 생성 속도와 기상 예측 정확도에도 부정적인 영향을 미쳤습니다.
• WRF 모델에 대한 생성된 대량의 데이터는 충분한 저장 용량을 필요로 합니다.

솔루션

연구소는 1000GbE RDMA와 PCle 4.0을 지원하는 인포트렌드의 초고성능 하이브리드 플래스 NVMe 스토리지 EonStor GS 4000U 모델을 채택하였습니다. 이는 15.36TB NVMe SSD 24개로 구성하였으며 성능 요구가 높은 WRF 모델에 최대 1100K IOPS와 24/12GB/s 의 처리량을 제공합니다. 이 솔루션은 WRF 모델에서 실행하는 시뮬레이션 및 분석에 관련된 여러 작업과 계산 프로세스를 처리할 수 있으며 프로세스 중에 생성된 데이터를 총 368.6TB 용량으로 저장할 수 있습니다. 2U 24베이 형태로 설계되어 IT 서버 룸의 랙 공간에도 충분히 설치 가능합니다. GS 4000U로 변경함에 따라 대규모 및 복잡한 WRF 시뮬레이션의 I/O 작업 속도를 큰 폭으로 향상하였으며 더 정확한 날씨 예보, 대기 과정에 대한 더 나은 이해, 기상학적 연구의 성공에도 많은 기여를 하였습니다. 연구소는 필요할 때 성능 및 용량 확장이 가능한 스케일 아웃 및 스케일 업 또한 누릴 수 있게 되었습니다.

연구소의 WRF 모델을 위한 EonStor GS 하이브리드 플래시 스토리지

인포트렌드를 선택한 이유

• WFR 모델의 HPC 워크로드에 이상적인 초고성능 U.2 NVMe 하이브리드 플래시 스토리지 GS 4000U
• 100GbE RDMA 지원
• WRF 시뮬레이션을 위해 생성된 대량의 데이터를 저장할 수 있는 높은 용량 지원
• 뛰어난 확장성을 제공하는 스토리지로 미래에 필요한 경우 용량과 성능 확장이 가능한 스케일 아웃 및 스케일 업 지원