0. 추론 경로 선택
두 경로 모두 동일한 OpenMake 애플리케이션을 실행합니다. 차이는 모델 추론이 일어나는 위치와 운영 주체입니다.
- 호스팅 엔드포인트: 빠른 평가, GPU 운영 불필요
- 셀프호스팅 엔드포인트: vLLM/LiteLLM, 네트워크, 자격 증명, 모델 카탈로그 직접 운영
1. 런타임 준비
Node 24, Docker, PostgreSQL, OpenAI 호환 엔드포인트를 준비하세요. 비밀 값은 저장소 밖에 두고 공개 접근 전 운영 URL을 설정하세요.
git clone https://github.com/openmake/openmake_llm.git
cd openmake_llm
node --version
docker --version2. 게이트웨이 설정
기본 모델과 OpenMake가 호출할 엔드포인트를 설정하세요. 모델 ID와 환경 변수 이름은 언어와 관계없이 그대로 사용합니다.
LLM_DEFAULT_MODEL=qwen3.6-35b-a3b
LLM_POOL_DEFAULT_CTX=262144
DB_AUTO_MIGRATE=true3. 시작과 검증
서버 시작은 기본적으로 보류 중인 마이그레이션을 적용합니다. 웹 UI에서 로그인한 뒤 설정한 모델로 첫 메시지를 보내 실제 응답 경로를 확인하세요.
- API와 웹 프로세스 상태 확인
- 모델 선택기에 설정한 모델 표시 확인
- 첫 메시지 전송 후 감사 또는 사용량 화면 확인
4. 의도적인 운영
수동 마이그레이션 절차가 있을 때만 DB_AUTO_MIGRATE=false를 사용하세요. 외부 공급자 키는 선택 사항으로 두고 로컬 기본 경로와 분리하세요.