전체 글
-
퍼온글 2개 vLLM vs Ollama vs SGLang vs TensorRT-LLM카테고리 없음 2026. 10. 1. 01:28
GPU 메모리의 80%가 낭비되고 있습니다. 이 네 가지 엔진이 그 문제를 해결해 줍니다.파올로 페로네2026년 4월 10일 Llama 70B는 노트북에서 완벽하게 작동합니다. FastAPI로 감싸면 첫 번째 요청 처리 시간이 2.3초로 단축됩니다. 아주 훌륭해 보입니다. 그런데 팀의 엔지니어 세 명이 사용하기 시작합니다.Request 1: 2.8s ← looks fineRequest 2: 9.1s ← why is this slower?Request 3: 22.4s ← something is very wrongRequest 4: torch.cuda.OutOfMemoryError세 명의 사용자가 A100 보드를 사용 중인데, GPU 메모리가 부족해졌습니다.모델 자체가 문제는 아닙니다. ..
-
Antigravity CLI Install on Windows_환경 구성카테고리 없음 2026. 9. 30. 00:00
2026년 10월 SW/AI 동아리 수업을 위한 환경구성 윈도우 검색줄 "powershell"관리자권한 으로 실행 Change directory ... 은 ..는디렉토리(폴더) 구조 프로젝트를 위한 projects 디렉토리 만들기AI에이전트 권한을 제약하기 위해 다른 드라이브(D: 등)가 있으면 활용 1일차 작업 디렉토리 만들기 https://antigravity.google/product/antigravity-cli/ Google Antigravity - Antigravity CLIThe terminal-first surface to interact with Antigravity agents. Stay in your flow without context switching.antigrav..
-
GPT5.5급 최고 성능 오픈소스 LLM, GLM-5.2 IQ2 로컬 간단 테스트카테고리 없음 2026. 6. 24. 15:24
오픈소스LLM의 새 기준?을 보여준다는 평가를 받는 GLM-5.2를 테스트하고 있습니다.먼저 지푸의 최신 모델 GLM-5.2이 어떤 성능인지 아래 표를 보시죠. 무려 직전 세대 상용 AI모델(GPT-5.2, Gemini-3 pro)를 뛰어넘거나 필적하는 성능입니다. 지푸에서 공개한 벤치에선 GPT5.5, 제미나이3.1Pro와 대등하다고 화제가 되고 있습니다.https://huggingface.co/zai-org/GLM-5.2 일론 머스크가 중국판 미소스는 내년 1분기 쯤 등장할거라고 하자 지푸 CEO가 그렇게 오래 걸리지 않을 거라고 말했는데 오픈소스 모델과 클로즈드 모델 성능 차이가 6개월 정도일 거란 말이 와닫고 있습니다^^ 저는 ASUS판 DGX spark인 GX-10을 2대 연결해 Vram을..
-
Jetson Nano버전 Openclaw 셋팅하기카테고리 없음 2026. 6. 3. 10:45
제가 젯슨나노 베이스로 오픈클로를 셋팅할 때의 문제점은 1. RTC용 배터리가 없기에 부팅 후 실시간 시간 동기화2. 와이파이 접속 간소화 였습니다. 1은 chrony를 설치하고 설정하여 부팅 후 자동갱신2는 와이파이 접속을 위한 간단한 쉘스크립트 파일을 만들어 실행 으로 해결하고 있습니다. ls -a./-wifi.sh와이파이명 번호 고르고, 비번 입력ifconfig 로 ip확인 ssh로 접속한 기기의 파일을 이 노트북에 복사하는 법• SSH 접속이 되는 원격 기기의 파일을 이 노트북으로 복사하려면 보통 scp나 rsync를 씁니다. scp jetson@192.168.0.20:/home/ubuntu/data.txt ~/Downloads/ 폴더 전체를 복사하려면..
-
DD를 활용한 OS 복제카테고리 없음 2026. 5. 26. 00:51
OS를 다른 디스크로 복제하려면, 보통 dd로 원본 전체 디스크를 대상 USB 전체 디스크에 그대로 복사하면 됩니다.핵심은 원본과 대상 디스크를 절대 헷갈리지 않는 것입니다. OS USB 전체를 복제하려면 보통 /dev/sda1 같은 파티션이 아니라 /dev/sda 같은 디스크 전체를 원본으로 잡아야 부팅 정보까지 복제됩니다. 대상도 /dev/sdX 전체 디스크로 지정해야 합니다. USB 장치명을 확인하세요. 예를 들어:$ lsblk -o NAME,SIZE,MODEL,TRAN,MOUNTPOINTS - 원본 OS USB: /dev/sdb - 복제 대상 USB: /dev/sdc 대상 USB가 마운트되어 있으면 해제합니다. /dev/sda는 보통 디스크 전체 장치라서 직접 마운트되지 않습니다. 실제 마..
-
JetsonNano 구조 프로젝트카테고리 없음 2026. 5. 13. 14:45
집에는 몇년 전 사용했던 젯슨나노가 몇 개 있습니다. 꽤 뒹굴고만 있던 나노들을 이번 창의재단 미션을 위한 OpenClaw 본체로 바꾸기로 했습니다. 오랫만에 젯팩 4.6.*을 설치하려니 우분투18.04가 필요했습니다. 노트북 하나 18.04로 바꾸고~sdk사용하며 생각해보니 sd카드 속도가 느려 usb에 젯팩을 올렸던 기억이 납니다. 그리고 오픈클로 설치에 잿팩4.6의 파이썬과 node.js 버전이 문제가 될 것 같았습니다, 그래서 젯슨나노에 최신 버전 우분투를 올려보신 pythos님의 이미지를 이용하기로 했습니다. 우분투 버전은 22.04로 골랐습니다.https://github.com/pythops/jetson-image GitHub - pythops/jetson-image: 💾 Create min..
-
ASUS판 DGX spark( GX10)에서 실행되는 Nemotron-3 120B-A12B카테고리 없음 2026. 3. 31. 23:42
안녕하세요? 오랫만에 글 오리고 있습니다^^업무로 정신없이 지내던 중 dgx spark를 구할 수 있었습니다. Asus 판 GX10이라고 합니다. MSI 것도 좋아보였는데 연이 안 닿았습니다 ㅠㅡ 며칠정도 사용한 소감은 커스텀 된 우분투를 베이스로 사용하기 편하게 만든 서버?입니다. 시스템 리소스 모니터링도 gui로 설치돼 있습니다. 일단 목표는 오픈클로의 로컬 AI서버로 활용해보는 것입니다. 엔비디아 네모트론이 괜찮다고 하니 한번 도전해봅니다. 6비트 양자화 모델을 llama-server로 실행해봅니다. 결과물이 꽤 안정적으로 나옵니다. 속도도 보시죠. 이젠 오픈클로와 연동하는 작업이 남았네요~ 어떻게 되려나?? https://youtu.be/MBXdxCbjKiM - YouTube www.y..