커밋 한 모금Qwen3.6 35B A3B 맥 로컬 LLM 실측 성능 분석
맥 스튜디오 M5 Max(48GB) 환경에서 빠른 응답 속도와 높은 코딩 정확도를 원하는 개발자에게 적합합니다.
Qwen3.6 35B A3B-OptiQ-4bit 모델을 mlx-community 저장소에서 받아 맥 스튜디오 M5 Max에서 직접 실행해 본 결과입니다. 22.2GB 용량의 가중치를 48GB 통합 메모리에서 안정적으로 구동하며, 짧은 입력 기준 초당 125.4토큰의 생성 속도를 기록했습니다. 한국어 답변 자연스러움과 파이썬 코딩 정확도에서 높은 점수를 얻었습니다.
이 맥에서 잰 숫자
| 모델 | Qwen3.6-35B-A3B-OptiQ-4bit |
|---|---|
| 원본 저장소 | mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit |
| 가중치 용량(GB) | 22.2 |
| 라이선스 | apache-2.0 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-20 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 125.4 |
| 짧은 입력 읽는 속도(토큰/초) | 3770 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 120.3 |
| 긴 입력 읽는 속도(토큰/초) | 5780 |
| 최대 메모리 사용(GB) | 24.1 |
| 한국어 답변 점수(5점 만점) | 5 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 27 / 50 |
| 도구 호출 정확도(10문항) | 9 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 10 / 10 |
| 형식 지시 따르기(10문항) | 10 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (4.3초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (9.7초) |
| 한 번에 만든 튀는 공 애니메이션 | 움직임 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
맥에서 로컬 AI 모델을 처음 사용하시는 대학생분들을 위해 핵심 포인트를 정리해 드립니다. **장점** 1. **데이터 프라이버시 보장**: 인터넷 연결 없이 내 컴퓨터에서 모든 작업이 이루어지므로, 개인 정보나 과제 내용이 외부로 유출될 위험이 전혀 없습니다. 2. **비용 효율성**: 대부분의 오픈소스 모델은 무료이며, 맥의 M 시리즈 칩(Apple Silicon)은 AI 추론에 최적화되어 있어 고사양 PC를 구매하지 않아도 가볍게 실행할 수 있습니다. **주의할 점** * **저장 공간(용량) 관리**: AI 모델 파일은 매우 커서(수 GB~수십 GB) SSD 용량을 빠르게 차지하므로, 설치 전 여유 공간을 충분히 확보하고 불필요한 파일은 정리하는 것이 좋습니다.
요청된 형식과 내용을 정확히 전달하며 문장이 자연스럽습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 스튜디오 M5 Max(48GB) 기반 로컬 LLM 구축
- 빠른 응답 속도가 필요한 대화형 AI 활용
- 파이썬 코딩 보조 및 형식 지시 준수가 중요한 작업
이럴 때는 다른 모델을
- 48GB 미만 통합 메모리를 가진 맥 기종
- 매우 긴 컨텍스트(32K 이상)에서 실시간 처리가 필수인 경우
- GPU VRAM 기반 서버 환경(NVIDIA 등)을 전제로 한 배포
자주 묻는 질문
Qwen3.6 35B A3B를 맥에서 돌리려면 어떤 사양이 필요한가요?
실측은 맥 스튜디오 M5 Max(통합 메모리 48GB)에서 진행되었습니다. 가중치 용량이 22.2GB이므로, 모델 로드와 추론을 위한 충분한 통합 메모리가 필요합니다. mlx-lm 0.32.0을 사용해 측정했습니다.
답 쓰는 속도가 얼마나 빠른가요?
짧은 입력(512토큰) 기준 답 쓰는 속도는 초당 125.4토큰, 긴 입력(4096토큰) 기준으로는 초당 120.3토큰으로 측정되었습니다. 이는 사람이 읽는 속도(초당 약 5토큰)보다 훨씬 빠릅니다.
한국어 성능은 어떤가요?
한국어 답변 점수는 5점 만점 중 5점을 받았으며, 외국어 섞임이 없었습니다. 평가에서는 '요청된 형식과 내용을 정확히 전달하며 문장이 자연스럽다'는 평을 받았습니다.
코딩과 도구 호출 능력은 어떤가요?
파이썬 코딩 10문제 모두 테스트를 통과(10/10)했으며, 도구 호출 정확도는 10문항 중 9문항(9/10)이 정확했습니다. 형식 지시 따르기도 10문항 중 10문항(10/10)으로 높았습니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit를 썼습니다.
측정일 2026-10-20 · 커밋 한 모금