커밋 한 모금Qwen3-14B-4bit 맥 로컬 LLM 실측 성능 분석
맥 스튜디오 M5 Max(48GB)에서 가볍고 빠르게 한국어 및 코딩 작업을 처리하고 싶은 개발자에게 적합합니다.
Qwen3-14B-4bit 모델을 mlx-community 저장소에서 받아 맥 스튜디오 M5 Max에서 직접 실행해 본 결과입니다. 가중치 용량은 8.3GB이며, 실제 동작 시 최대 메모리 사용량은 9.7GB로 확인되었습니다. 짧은 입력(512토큰) 기준 답 쓰는 속도는 초당 62.2토큰으로, 사람이 읽는 속도보다 훨씬 빠릅니다.
이 맥에서 잰 숫자
| 모델 | Qwen3-14B-4bit |
|---|---|
| 원본 저장소 | mlx-community/Qwen3-14B-4bit |
| 가중치 용량(GB) | 8.3 |
| 라이선스 | apache-2.0 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-20 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 62.2 |
| 짧은 입력 읽는 속도(토큰/초) | 1741 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 57.6 |
| 긴 입력 읽는 속도(토큰/초) | 1950 |
| 최대 메모리 사용(GB) | 9.7 |
| 한국어 답변 점수(5점 만점) | 5 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 21 / 50 |
| 도구 호출 정확도(10문항) | 10 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 10 / 10 |
| 형식 지시 따르기(10문항) | 10 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (12.3초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (30.7초) |
| 한 번에 만든 튀는 공 애니메이션 | 움직임 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
장점 두 가지: 1. 인터넷 없이도 AI 기능을 사용할 수 있어 편리함. 2. 개인 데이터를 안전하게 처리할 수 있어서 프라이버시 보호가 쉬움. 주의할 점: - 하드웨어 성능에 따라 실행 속도가 느려질 수 있음.
요청된 형식과 내용을 정확히 전달하며 문장이 매우 자연스럽습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 스튜디오 M5 Max(48GB) 환경에서 로컬 LLM 구동
- 한국어 자연어 처리 및 형식 지시 준수가 필요한 작업
- 파이썬 코딩 및 도구 호출 정확도가 중요한 개발 환경
이럴 때는 다른 모델을
- 매우 긴 컨텍스트(32K 이상)에서 실시간 응답이 필요한 경우
- 메모리 16GB 이하의 저사양 맥 기기
- 최상급 추론 능력보다 경량화가 우선인 경우
자주 묻는 질문
Qwen3-14B-4bit의 답 쓰는 속도는 얼마나 되나요?
짧은 입력(512토큰) 기준 초당 62.2토큰, 긴 입력(4096토큰) 기준 초당 57.6토큰으로 측정되었습니다. 이는 사람이 읽는 속도(초당 약 5토큰)보다 훨씬 빠릅니다.
맥에서 이 모델을 돌리려면 메모리가 얼마나 필요한가요?
가중치 용량은 8.3GB이지만, 실제 측정 시 최대 메모리 사용량은 9.7GB였습니다. 따라서 16GB 통합 메모리 이상의 맥 기기가 권장됩니다.
한국어 답변 품질은 어떤가요?
한국어 답변 점수는 5점 만점에 5점을 받았으며, 외국어 섞임이 없었습니다. 요청된 형식과 내용을 정확히 전달하며 문장이 매우 자연스럽다는 평가입니다.
코딩과 도구 호출 성능은 어떤가요?
파이썬 코딩 10문제 모두 테스트를 통과했고, 도구 호출 정확도도 10문항 중 10문항을 정확히 수행했습니다. 형식 지시 따르기 역시 10/10으로 정확했습니다.
긴 문서 처리 성능은 어떤가요?
약 16K토큰 문서에서 문장 찾기는 12.3초, 약 32K토큰 문서에서는 30.7초에 완료되었습니다. 긴 입력 읽는 속도는 초당 1950토큰으로 매우 빠릅니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Qwen3-14B-4bit를 썼습니다.
측정일 2026-10-20 · 커밋 한 모금