Windows Forum

공개·회원 5명

MAYA-L설치

Maya-L은 대형 오픈웨이트 AI 모델인 GLM-5.3-Flash (321B MoE)를 로컬 환경(개인 PC)에서 구동하기 위해 최적화된 Project Maya 프로젝트의 양자화(Quantization) 모델 라인업 중 하나입니다.

주요 특징은 다음과 같습니다.

모델 크기 및 용량: 약 156.3 GB 크기로 제공되며, Maya 시리즈 중에서는 가장 높은 수준의 원본 정확도를 유지하도록 설계된 대용량 버전입니다. (원래 수백 GB 이상의 데이터센터용 서버가 필요한 321B 모델을 대폭 압축한 형태입니다.)
구동 방식: Project Maya 엔진을 통해 GPU의 VRAM, 시스템 RAM, 그리고 NVMe SSD를 유기적으로 활용하여 대용량 모델을 개인 PC에서도 로컬로 실행할 수 있게 해줍니다.
요구 사항: Maya-L은 150GB가 넘는 파일 크기와 풀 모델 정확도의 99.2%를 지원하는 만큼, 시스템 메모리(RAM)와 저장장치 용량이 넉넉하고 대규모 메모리 풀을 갖춘 고성능 PC 환경에 적합합니다.

Visual C++ 2022 설치

https://aka.ms/vs/17/release/vs_community.exe

CUDA-toolkit설치

Python 3.1설치

www.python.org

Download Python

The official home of the Python Programming Language

Git설치

https://git-scm.com/install/windows

Git-Bash 실행 다음 복사-붙여넣기

git clone https://github.com/mw00/project-maya.git cd project-maya

명령프롬프트

C:\Users\사용자이름\cd project-maya

하드웨어 사양 체크

START-MAYA.bat --check

C:\Users\사용자이름\start-maya.bat

혹은 임의 저장 위치 지정

START-MAYA.bat --setup --models-dir "D:\Maya-models"

📋 Project Maya 모델 선택지 설명

1) Maya-S-v2-IQ2_XXS (용량: 96.5 GB)
- 특징: 극도로 압축(저비트 양자화)하여 파일 용량과 메모리 부담을 크게 줄인 버전입니다.
- 단점: 압축률이 높은 만큼 원본 모델의 성능이나 정확도 면에서 손실이 꽤 발생할 수 있습니다.
2) Maya-S24 (용량: 94.7 GB) 👉 화면에서 추천하는 옵션
- 특징: VRAM 24GB 이하의 그래픽카드에 최적화된 모델입니다. Q4_K 어텐션과 공유 전문가 구조를 사용하여, 그래픽카드에 상주하는 데이터를 최적화함으로써 속도가 비교적 빠르고 품질도 어느 정도 보장됩니다.
3) Maya-M (용량: 116.0 GB)
- 특징: 미디엄(Medium) 체급으로, S 버전보다 더 많은 용량을 사용하여 원본 모델의 추론 능력과 정확도를 더 높인 중간 버전입니다.
4) Maya-M-Derisked (용량: 116.0 GB)
- 특징: 위 Maya-M과 용량은 같지만, 특정 리스크(환각 현상이나 불안정성 등)를 줄이도록 조율(Derisked)된 버전입니다.
5) Maya-L (용량: 156.3 GB) 👉 이전에 관심 가지셨던 버전
- 특징: 이번 프로젝트에서 가장 거대하고 원형 모델의 정확도(99.2% 수준)를 거의 온전히 유지하는 대형 럭셔리 버전입니다.
- 요구 사항: 모델 파일 크기만 156GB에 달하므로, 넉넉한 NVMe SSD 여유 공간과 64GB 이상의 시스템 RAM 협업이 필수적입니다.
6) / 7) EXL3 계열 (3.05bpw / 4.05bpw) (용량: 125.3 GB / 165.2 GB)
- 특징: experimental(실험적) 태그가 붙어 있는 EXLlamaV3 기반 포맷입니다. 최신 그래픽카드 구조에서 고속 추론을 실험해 볼 수 있으나, 안정성 면에서 개발 중인 옵션입니다.

5-1(default)-Yes 선택-156GB선택

1. Maya 실행 및 서버 켜기

프로젝트 폴더 내에 있는 실행 파일인 START-MAYA.bat(run-maya-maya-l.bat)을 다시 실행합니다.
다운로드 및 설정 과정이 끝나면, 스크립트가 로컬 환경에서 AI를 구동하기 위한 API 서버 및 웹 대시보드를 자동으로 엽니다.

2. 브라우저를 통해 대화하기

서버가 켜지면 터미널 창에 접속 가능한 주소가 표시됩니다 (일부 버전의 경우 기본적으로 [http://127.0.0.1:8080](http://127.0.0.1:8080) 또는 스크립트가 안내하는 로컬 주소).
컴퓨터의 웹 브라우저(크롬, 엣지 등)를 열고 해당 주소로 접속합니다.
화면에 나타나는 전용 채팅 인터페이스(UI)를 통해 ChatGPT를 쓰듯 편하게 대화를 나누거나 프롬프트를 입력하여 모델을 활용할 수 있습니다.

💡 사용 시 유의 사항 (하드웨어 활용 팁)

대용량 모델 구동: Maya-L은 156GB가 넘는 대형 모델이기 때문에, 그래픽카드(RTX 5080 VRAM 16GB)와 시스템 램(64GB) 및 NVMe SSD가 유기적으로 데이터를 주고받으며 구동됩니다.
첫 질문을 던질 때 모델을 메모리에 올리는 로딩 시간(Warm-up)이 다소 걸릴 수 있으므로, 서버가 완전히 켜진 후 대화를 시작하시는 것이 좋습니다.