배경 내가 클라우드를 좋아 하고, 인공지능을 하지 않고 별로 좋아하지 않는 이유는 1) 수학이 싫어서 2) GPU 설정하기 싫어서. 두 가지로 나뉜다. 하지만, N 교수님이 당장 인공지능을 LLM을 돌려보라는 말을 하셔서 해야한다. 정확히는 스토리가 길지만, 언제나 그렇듯 원래 다른 사람의 일이였으나 어쩔 수 없이 울며 겨지먹기로 인공지능을 해야한다. 제약사항: PCI Passthrough 언제나 그렇듯, 우리의 환경은 클라우드 환경이다. 누군가는 아니 그냥 설치하고 cuda 툴킷 설치하면 되는거 아니냐? 그거 못 설치하면서 리눅스 한다고 하냐? 이래서 인프라 하는 놈들은 안된다. 이라는 말을 할지 모른다. 하지만, 우리에게는 언제나 그렇듯, 제약사항이 존재한다 우리의 머신은 RTX 4090 두대가 들어..