Jetson orin NX 16gb에서 Phi-4_gguf(q4)를 돌려봅시다
Jetson orin NX를 잿팩6.1로 업데이트했습니다~
SUPER가 되며 좀더 강해진 것 같아 젠슨황처럼 뭔가 LLM 모델을 돌려보기로 했습니다.
*못보던 Jetson Power GUI가 보여 실행하니 다양한 상태를 모니터링 할 수 있습니다.
요즘 수학 문제의 해결에 관심이 있어 MS의 phi-4를 선택하고, Ollama를 사용할까 하다 아래 글을 보고 다른 툴을 골라봤습니다.
https://getstream.io/blog/best-local-llm-tools/
The 6 Best LLM Tools To Run Models Locally
Discover, download, and run LLMs offline through in-app chat UIs. Experience OpenAI-Equivalent API server with your localhost.
getstream.io
Llama.cpp
깃허브에서 레포를 다운받아 설치합니다.
설치 후 자주 실행할 것 같아 언제나 실행할 수 있도록 실행경로를 bashrc에 등록해봅니다. 저의 경우는 ~/projs/llama.cpp/build/bin
터미널에서
echo 'export PATH=$PATH:~/projs/llama.cpp/build/bin' >> ~/.bashrc
source ~/.bashrc
실행 파일 권한을 줍니다.
chmod +x ~/projs/llama.cpp/build/bin/llama-cli
MS의 phi-4 모델을 다운받습니다. 혹시나 양자화 된 걸로 받아봅니다 ㅋ..
https://huggingface.co/microsoft/phi-4-gguf
microsoft/phi-4-gguf · Hugging Face
Phi-4 Model Card Model Summary Developers Microsoft Research Description phi-4 is a state-of-the-art open model built upon a blend of synthetic datasets, data from filtered public domain websites, and acquired academic books and Q&A datasets. The goal of t
huggingface.co
저는 요렇게 GUI로 받았습니다.
MS에서는 매개변수 140억개 모델로는 우수하다고 합니다. 역시 수학쪽 데이터가 좋습니다~
실행을 하니 한 단계씩 차근차근 진행하며 수학 문제를 해결하는 것이 인상적입니다. 응답하는 시간은 '차근차근'이란 표현이 어울리게 단어 단어로 내뱉는 시간이 어느 정도씩 필요합니다.
온도도 꽤 오르는지 히트싱크를 건들지 말라는 경고가 생깁니다.
조만간 NX의 GPU VRAM 16GB LPDDR5를 모두 다 사용해보는 모델을 골라서 돌려봐야겠습니다~ 감사합니다.
