Dev LLM
-
Ubuntu에서 CUDA toolkit 버전 변경 & gccDev LLM 2023. 6. 10. 11:09
설치한 CUDA toolkit버전 중 사용할 버전의 디렉토리 PATH 설정을 하면 된다. $ vi ~/.bashrc PATH부분을 찾아 버전부분만 수정한다. 없다면 직접 입력해주면 된다. 위 그림을 아래처럼 빨간색 이름 부분에 version만 바꾸어준다 ( 8 -> 10 버전으로 바꿈) exportPATH=/usr/local/cuda-10.0/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-10.0 /lib64\${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} $ source ~/.bashrc 윈도우서 환경변수 설정하는 느낌으로 source명령을 실행 한다. $ nvcc --version 버전 적용 확인 Nvidia 드라이버..
-
"We Have No Moat, And Neither Does OpenAI"Dev LLM 2023. 5. 28. 22:25
올해는 일정 분야에 잘쓸 수 있는, 챗봇형태 커스텀 인공지능을 만드려고 합니다. 오픈소스LLM 중 다룰 수 있으며, 성능이 나은 것을 베이스로 고르고 관련 정보들로 다운스트림 태스크할 계획입니다. 얼마 전 "We Have No Moat, And Neither Does OpenAI"라는 재미있는 문서가 공개되었습니다. 공개 의도가 있는지는 모르겠지만 일단 급하게 변해가는 LLM의 주요 사건을 알 수 있습니다. ㅎㅎㅎ 참고로 한번 읽어보세요~~ https://www.semianalysis.com/p/google-we-have-no-moat-and-neither Google "We Have No Moat, And Neither Does OpenAI" Leaked Internal Google Document C..
-
윈도우(Windows10-64bit) 환경에서 LLaMA(LLaMA-30b 4bit mode) 테스트하기<모델 로드까지>Dev LLM 2023. 3. 17. 21:36
며칠 전 리눅스에서 LLaMA-7B를 테스트해보고 이제는 로컬에서도 거대인공지능을 다룰 수 있다는 것을 알았다. 현재는 RTX3090을 쓸 수 있는 상황인데, 놀랍게도 GPTQ를 이용하면 메인스트림급으로 사용하는 RTX1660부터 LLaMA를 사용할 수 있다는 것을 알게 되었다. GPTQ는 GPTQ: Accurate Post-training Compression for Generative Pretrained Transformers란 논문 제목을 가지는데, GPT모델을 2/3/4비트로 압축하여 경량화하는 기술이다. 서핑하다 찾은 블로그의 표를 보면 RTX3090에서 기본 모델은 LLaMa-7b를 겨우 돌리나, GPTQ를 활용하면 더 좋은 성능의 LLaMa-30b까지 가능하다고 합니다. Windows10-6..