메리 크리스마스~ Super Jetson Orin, SDK manager 필요없음

성탄절을 맞아 엔비디아에서 크리스마스 선물을 준비했군요.
CUDA를 활용할 수 있는 임베디드 보드인 jetson시리즈인  Orin Nano 4gb부터 Orin NX 16gb까지 업데이트를 통한 업그레이드 를 공개했습니다. 아래 표를 보면 GPU와 CPU의 동작속도, Dram대역폭을 변화시켜 성능을 기존의 170%정도로 만든다고 하니 굉장한 개선입니다. INT4로 양자화했다고 하지만 손바닥 보다 작은 크기의 Jetson Orin Nano 4gb에서 Llama-3.1-8B와 같은 8B급 모델을 실행할 수 있다고 하니!! 와우~!
 

 
 
전체적인 과정은 이렇습니다. SDK manager를 쓰지 않고 보드만으로 진행됩니다~

1. 기존의 Jetson Orin Nano 8gb 개발자키트의 펌웨어 업데이트를 자동으로 실행하는 특별한 버전(JP513-orin-nano-sd-card-image_b29)이미지를 sd카드에 굽습니다.
2. sd카드로 부팅 후 온라인 상태에서 (GPU와 CPU의 동작속도, Dram대역폭을 변경하는) 개선 펌웨어를 업데이트 합니다.
3. 개선 펌웨어(25.1.9. 현재 36.4.2버전)에 맞는 JetPack6.1이미지를 sd카드에 올립니다.
*펌웨어 업데이트 후 기존 5.x 이미지로 부팅이 안되어 삽질을 계속했습니다. 기다려도 검정 화면만 볼 수 있습니다.
4. 최초 우분투 기본 설정 후, 부팅하여 Maxn 모드가 있는지 확인합니다.
 
 
1.0. 개발보드에는 nvme로 부팅을 할 수도 있는데 오랫만에 부팅이라 헤매다 몇 번 실패했습니다. 검은 화면에서 넘어가지 못해서 해결법을 구글링했습니다. 

Please try below method and it will go back to direct Boot again. Press ESC to enter UEFI Menu, then choose Device Manager → NVIDIA Configuration → L4T Configuration → OS chain A status → (The value is Unbootable if UEFI attemps recovery kernel) choose Normal → Save and exit, reboot, UEFI will try Direct Boot.
장치가 3번 연속으로 rootfs로 부팅하지 못하면 복구 부팅으로 전환됩니다.
전원을 넣고 ESC를 눌러 UEFI 메뉴로 들어간 다음 장치 관리자 → NVIDIA 구성 → L4T 구성 → OS 체인 A 상태 → (UEFI가 복구 커널을 시도하면 부팅 불가능)를 선택합니다. 일반 → 저장하고 종료하고 재부팅하면 UEFI가 직접 부팅을 시도합니다.
nvme를 떼내고 64gb sd카드로 진행했습니다. 
 
1.1. 아래 사이트를 참고해 JP513-orin-nano-sd-card-image_b29.zip 를 다운받아 sd카드에 OS이미지를 굽습니다.
https://www.jetson-ai-lab.com/initial_setup_jon.html

🚀 Initial Setup Guide - Jetson Orin Nano - NVIDIA Jetson AI Lab

 
 
 
 
2. JetPack은 우분투를 커스텀한 리눅스이기 때문에 우분투 초기 설정 후 기다리면 곧 아래와 같은 펌웨어 업데이트 안내가 생깁니다. 안내를 닫고 재부팅을 하면 시간이 걸리며 펌웨어가 업데이트 됩니다.

 
 
 
 
3. 개선 펌웨어(25.1.9. 현재 36.4.2버전)에 맞는 JetPack6.1이미지를 sd카드에 올립니다.
https://developer.nvidia.com/embedded/jetpack
 
 
 
 
4. 우분투 초기 설정 후, 부팅하여 Maxn 모드가 있는지 확인합니다. 성공^^
 
조만간 8gb모듈에 알맞게 라마 INT8 양자화 버전을 올리고 블로깅해보겠습니다. 모두 즐거운 개발하십시오~~
 
 
 
 
참고
https://forums.developer.nvidia.com/t/flashing-orin-nano-via-sdk-fails/318733

Flashing Orin Nano via SDK Fails

 
https://developer.nvidia.com/blog/nvidia-jetson-orin-nano-developer-kit-gets-a-super-boost/

NVIDIA Jetson Orin Nano Developer Kit Gets a “Super” Boost | NVIDIA Technical Blog

 
https://www.jetson-ai-lab.com/initial_setup_jon.html

🚀 Initial Setup Guide - Jetson Orin Nano - NVIDIA Jetson AI Lab