ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 오린64 모델 고르기 Smoothie-Qwen3-30B-A3B.Q8_0.gguf
    카테고리 없음 2025. 5. 11. 02:06

     
     
    ao@ao-desktop:~/projs/LlmModels$ llama-cli   --model ./Smoothie-Qwen3-30B-A3B.Q8_0.gguf  --threads 12 --gpu-layers 49  --no-warmup  --prompt 'llm모델들과 10가지 벤치마크 성능을 표로 비교해줘. 한글로 알려줘'
     
     
    --gpu-layers 50
    --gpu-layers 49
     
    생각을 나타내며 실사 가능하겠음. 생각의 참고 모델
    emc      360%
    V메모리 55%
     
    49/49 레이어를 맞추는 것이 쬐금 좋겠음

     

    댓글

Designed by Tistory.