오픈소스 LLM GPU 선택부터 LLM 서버 구축 비용까지 5가지 기준
오픈소스 LLM GPU를 어떻게 고르느냐에 따라 LLM 서버 구축 비용은 몇 배씩 달라집니다. 저도 처음 모델을 직접 돌려 볼 때 사양표만 믿고 장비를 들였다가 메모리가 모자라 애를 먹었습니다. 그래서 비용이 실제로 어디에서 나가는지 차근차근 정리해 보았습니다. 오픈소스 LLM GPU는 VRAM 용량이 먼저입니다 GPU를 고를 때 연산 속도보다 먼저 볼 것이 비디오 메모리, 즉 … Read more