Linux Infiniband(MLNX OFED) 드라이버 설치

Infiniband 드라이버 설치 과정을 적어본다.

Infiniband 스위치 또는 PC 또는 서버의 NIC가 호환되는지 확인한다.

설치환경은 Ubuntu 22.04 LTS이다.

Ubuntu 22.04 LTS

 

 

 

Nvidia Infiniband 드라이버 다운로드를 위해 사이트에 접속한다.

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

Linux InfiniBand Drivers

 

 

알맞은 드라이버를 설치한다. 

NIC 중에 다음 NIC는 MLNX_OFED 4.9-x LTS를 사용해야 한다고 되어 있다.

NVIDIA ConnectX-3 Pro
NVIDIA ConnectX-3
NVIDIA Connect-IB
RDMA experimental verbs library (mlnx_lib)
OSs based on kernel version lower than 3.10

 

 

 

나는 여기에 해당하지 않으므로 5.4/5.8-x 또는 5.9를 설치한다. 

최신버전을 설치하기로 했다. 버그가 생긴다면 다시 설치해야 할 수도 있다..

가급적 LTS버전을 추천한다.

나는 확장자가 tgz인 것을 선택하여 다운로드했다.

Infiniband Driver. 출처 : Nvidia

 

 

 

위 과정이 아니라 리눅스에서 직접 다운로드하였다면, 바로 압축을 해제한다.

나는 내 PC에서 받아서 SSH로 드라이버를 설치할 서버에 접속했다.

scp 명령어를 이용해 서버로 파일을 전송했다.

그리고 압축파일을 올려놓은 경로에서 압축 해제

명령어 : tar -xczf 파일명 

압축파일을 tar 명령어를 사용하여 풀고 있다.

 

 

 

압축해제된 폴더로 이동 후 설치 명령어 입력한다.

명령어를 통해 설치에 사용할 수 있는 옵션을 확인해 봤다.

mlnxofedinstall --help

mlnxofedinstall --help을 통해 설치 가능 옵션을 확인

 

 

--force 명령을 사용하기로 했다.

이 명령을 사용하게 될 경우, 드라이버 설치에 필요한 패키지를 설치하고 펌웨어 업데이트까지 진행된다.

--force 명령어를 사용하기로 했다.

 

 

 

설치가 진행된다. 

5-10분 정도 걸리기 때문에 천천히 기다린다.

MLNX OFED 드라이버 설치 진행중

 

 

 

중간에 펌웨어 업데이트도 자동으로 진행된다.

업데이트가 적용되려면 재부팅해야 한다는 내용이 있다.

MLNX OFED 드라이버 설치완료 후 재부팅

 

 

 

 

ifconfig -a를 통해 ib로 시작하는 인터페이스가 있는지 확인한다.

인터페이스가 있다면 정상적으로 NIC가 동작하는 것이다.

IP는 기본으로 DHCP로 되어 있을 것이다. 

만약 서버 간에 Infiniband로 통신할 IP를 지정했다면, 해당 대역으로 설정한다.

vi /etc/netplan/00-installer-config.yaml에 진입하여 인터페이스 IP값을 설정하면 된다.

vi /etc/netplan/00-installer-config.yaml에 진입하여 인터페이스 IP값을 설정

 

 

 

서버 간에 통신이 잘 되는지 확인하고 마무리한다.

 

참조 링크 : https://docs.nvidia.com/networking/display/MLNXOFEDv461000/Installing+Mellanox+OFED 

Installing Mellanox OFED - MLNX_OFED v4.6-1.0.1.1 - NVIDIA Networking Docs