"내 컴퓨터가 비명을 지른다" - 로컬 LLM 오류 대처와 눈물의 OS 망명기
지난 포스팅에서 로컬 LLM의 장점과 설치의 설렘을 말씀드렸다면, 오늘은 그 이면에 숨겨진 '처절한 사투'를 고백하려 합니다. 이론은 완벽했지만, 현실의 제 컴퓨터는 자꾸만 "안 돼, 돌아가"를 외치더군요. 제가 겪은 오류 대처법과 결국 윈도우를 버리고 리눅스로 '망명'하게 된 이유를 공유합니다. 1. "CUDA가 누군데 나를 괴롭히나" - 흔한 오류들의 습격 로컬 AI 구축의 최대 고비는 바로 환경 설정 이었습니다. 설치 버튼만 누르면 끝날 줄 알았는데, 제 모니터엔 검은 화면과 알 수 없는 영어 문장들만 가득했습니다. Runtime Error (Out of Memory): 8GB VRAM의 한계였습니다. 모델이 로드되다가 픽 쓰러질 때마다 제 멘탈도 함께 나갔죠. 결국 '양자화(Quantization)'라는 기술을 통해 모델의 덩치를 강제로 줄여야만 했습니다. Library Version Conflict: 파이토치(PyTorch)와 CUDA 버전이 서로 안 맞는다고 싸울 때면, 마치 중간에서 싸움을 말리는 중재자가 된 기분이었습니다. "어제는 됐는데 왜 오늘은 안 돼?"라는 질문은 로컬 LLM 유저의 숙명인가 봅니다. 2. WSL2의 한계와 결단: "이럴 거면 그냥 리눅스로 간다" 윈도우 환경에서 로컬 LLM을 돌리기 위해 WSL2(Windows Subsystem for Linux)를 사용했지만, 가상화 환경 특유의 오버헤드와 간헐적인 GPU 인식 오류는 저를 지치게 했습니다. 망명의 이유: 윈도우가 잡아먹는 기본 VRAM마저 아쉬웠습니다. 1MB의 메모리라도 더 AI에게 주고 싶은 간절함이 생기더군요. 실행: 결국 중요한 자료를 백업하고, 메인 OS를 Ubuntu(리눅스)로 밀어버리는 '망명'을 선택했습니다. 오직 AI만을 위한 전용 서버를 구축하기로 한 것이죠. 3. 망명지에서 찾은 평화: "속도가 2배가 되...