-
오린64 모델 고르기 Smoothie-Qwen3-30B-A3B.Q8_0.gguf카테고리 없음 2025. 5. 11. 02:06
ao@ao-desktop:~/projs/LlmModels$ llama-cli --model ./Smoothie-Qwen3-30B-A3B.Q8_0.gguf --threads 12 --gpu-layers 49 --no-warmup --prompt 'llm모델들과 10가지 벤치마크 성능을 표로 비교해줘. 한글로 알려줘'
--gpu-layers 50
--gpu-layers 49
생각을 나타내며 실사 가능하겠음. 생각의 참고 모델
emc 360%
V메모리 55%
49/49 레이어를 맞추는 것이 쬐금 좋겠음