Supermicro Server 40G 연결 문제 및 Intel(R) 40GbE 2.4.05 is Unhealthy 문제 해결 과정

갑자기 서버를 한대 수령받았는데 Supermicro Server였다. 

개인적으로 Supermicro 제품을 그다지 선호하지 않는다..

뭔가 지원받기도 껄끄럽고..

일반적으로 많이 쓰는 Dell / HP 등등의 서버는 문제가 생겼을 때 찾기 쉽지만 Supermicro는 상대적으로 그렇지 않다.

 

암튼 이미 서버는 받았고 서버를 보니 40G NIC 2개가 꽂혀있는 상태로 왔다.

설명을 들어보니 렌더용으로 사용할 서버고 40G 네트워크를 구성해야 한다.

나중을 대비해서 발생한 문제와 해결 과정을 기록으로 남겨 놓는다. 

 

 

 

 

 

 

일단 서버의 스펙을 확인한다.

서버 컴퓨터이지만 Windows 10을 설치해 달라고 하여 설치를 완료하였다.

그래픽카드 RTX 3090 4개가 장착되어 있고 Intel XL710-Q2 40G NIC가 장착되어 있다.

Supermicro 서버 스펙

 

 

메인 보드는 X11DPG-QT라는 제품이 장착되어 있다. 

스펙을 확인해보니 16X PCIE 슬롯 6개, 4X PCIE 슬롯 1개(in 8X 슬롯)이라고 되어 있다.

3090 그래픽 카드 4개와 40G NIC 1개가 장착되어 남은 PCIE 슬롯은 2개이다.

출처 : Supermicro

 

 

 

암튼 꽤나 훌륭한 스펙과 엄청난 전력량을 소비할 것으로 보이는 이 서버에 40G를 연결하는 것이 관건이다.

40G 같은 경우 NIC의 슬롯이 다르게 생겼기 때문에 일반적으로 연결하는 GBIC을 바로 연결할 수 없다. 그래서 Fiber Optic Transceiver Module를 사용해서 연결해야 한다. 연결을 해 보았지만 연결이 되지 않는다. 그래서 재부팅을 했더니 40G 연결에 문제가 있다. Intel(R) 40GbE 2.4.05 is Unhealthy라고 나타났다. 뭔가 정상적으로 동작하지 않기 때문에 이것을 무시하고 진행할 건지 BIOS 세팅을 다시 할 건지 물어보는 메시지가 나타난다. 일단은 그냥 지나가기로 했다.

Intel 40GbE is Unhealthy 에러

 

 

 

분명히 드라이버는 정상적으로 동작하고 있었고, fiber optic transceiver module과 광케이블을 연결하면 이 문제가 생긴다.  그리고 광케이블과 fiber optic transceiver module을 분리하면 다시 정상적으로 부팅한다. 직감적으로 fiber optic transceiver module의 호환성을 탈 수도 있겠다는 생각이 들었다. 

 

fiber optic transceiver module과 케이블이 붙어 있는 DAC 케이블은 과연 될까 테스트를 해봤다.

DAC은 Direct Attach Copper의 약자이다. 단거리 용도로만 제작되어 나온다.

그리고 이 케이블로 연결하면 정상적으로 NIC 인터페이스가 올라오는 것을 확인했다.

Intel(R) 40GbE 2.4.05 is Unhealthy 에러는 정상 동작을 할 수 없는 상태라 나타나는 것이었다.

DAC 케이블

 

 

 

그렇다면 40G NIC는 정상 동작하고 Fiber Optic Transceiver Module과 일반적인 광케이블을 연결했을 때 문제가 되었으므로 두 개의 문제만 확인하면 된다. 유지보수 업체에서 Fiber Optic Transceiver Module을 구매했기 때문에 유지보수 업체에 상황을 말해주고 업체에서 호환성 문제를 확인하기 위해 Fiber Optic Transceiver Module 다수와 MPO(Multi-Fiber Push On) 케이블을 가지고 와서 확인해 보기로 했다. 그리고 확인 결과 호환성에 맞는 Fiber Optic Transceiver Module 사용과 MPO 광케이블을 사용해야 한다는 것을 확인했다. 40G 장거리는 MPO케이블, 단거리는 DAC케이블. 결국 Fiber Optic Transceiver Module은 호환되는 것으로 교환하기로 했고 MPO케이블은 주문에 들어갔다. MPO케이블은 꽤 비싸므로 최대한 정확한 거리를 계산하여 주문하였다. Fiber Optic Transceiver Module 호환 제품을 받게 되면 다시 이 글에 추가 기록할 예정이다.