카테고리 없음

오린64 모델 고르기 Smoothie-Qwen3-30B-A3B.Q8_0.gguf

asev 2025. 5. 11. 02:06

 
 
ao@ao-desktop:~/projs/LlmModels$ llama-cli   --model ./Smoothie-Qwen3-30B-A3B.Q8_0.gguf  --threads 12 --gpu-layers 49  --no-warmup  --prompt 'llm모델들과 10가지 벤치마크 성능을 표로 비교해줘. 한글로 알려줘'
 
 
--gpu-layers 50
--gpu-layers 49
 
생각을 나타내며 실사 가능하겠음. 생각의 참고 모델
emc      360%
V메모리 55%
 
49/49 레이어를 맞추는 것이 쬐금 좋겠음