커밋 한 모금Qwen3-8B-4bit 맥 로컬 LLM 실측 성능 리뷰
맥 스튜디오 M5 Max에서 한국어 자연스러움과 빠른 응답 속도를 원하는 사용자에게 적합합니다.
mlx-community의 Qwen3-8B-4bit 모델을 맥 스튜디오 M5 Max(48GB)에서 mlx-lm으로 측정했습니다. 짧은 입력(512토큰) 기준 답쓰기 속도는 초당 112.3토큰으로, 사람이 읽는 속도(초당 약 5토큰)보다 훨씬 빠릅니다. 한국어 답변 품질은 5점 만점에 5점으로 높았으며, 최대 메모리 사용량은 6GB로 확인되었습니다.
이 맥에서 잰 숫자
| 모델 | Qwen3-8B-4bit |
|---|---|
| 원본 저장소 | mlx-community/Qwen3-8B-4bit |
| 가중치 용량(GB) | 4.6 |
| 라이선스 | apache-2.0 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-20 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 112.3 |
| 짧은 입력 읽는 속도(토큰/초) | 3208 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 101.5 |
| 긴 입력 읽는 속도(토큰/초) | 3583 |
| 최대 메모리 사용(GB) | 6 |
| 한국어 답변 점수(5점 만점) | 5 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 17 / 50 |
| 도구 호출 정확도(10문항) | 10 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 9 / 10 |
| 형식 지시 따르기(10문항) | 8 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (7.3초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (19.3초) |
| 한 번에 만든 튀는 공 애니메이션 | 화면은 나오나 움직이지 않음 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
맥에서 로컬 AI 모델을 사용하는 장점은 다음과 같아요: 1. **개인정보 보호**: 데이터가 로컬에서 처리되기 때문에 클라우드에 저장되지 않아 보안이 더 좋습니다. 2. **속도와 효율성**: 로컬에서 실행되기 때문에 네트워크 지연 없이 빠르게 작동합니다. 주의할 점: **시스템 자원 사용량이 높아지므로, 맥의 성능이 낮거나 다른 작업을 동시에 할 때는 주의하세요.**
요청된 장점 두 가지와 주의할 점 한 가지를 명확하고 자연스럽게 전달했습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 스튜디오 M5 Max에서 로컬 LLM을 구동하고 싶은 경우
- Qwen3 8b 성능을 직접 확인하고 싶은 경우
- 한국어 답변 품질이 중요한 로컬 llm 구축 시
이럴 때는 다른 모델을
- 48GB 미만 통합 메모리를 가진 맥 미니 또는 맥북 사용 시
- 긴 문맥(32K 이상) 처리에 극한의 지연 시간이 허용되지 않는 경우
자주 묻는 질문
Qwen3-8B-4bit의 답쓰기 속도는 얼마나 되나요?
짧은 입력(512토큰) 기준 초당 112.3토큰, 긴 입력(4096토큰) 기준 초당 101.5토큰으로 측정되었습니다. 이는 사람이 읽는 속도보다 훨씬 빠릅니다.
이 모델을 돌리려면 얼마나 많은 메모리가 필요한가요?
가중치 용량은 4.6GB이며, 실제 실행 중 최대 메모리 사용량은 6GB로 측정되었습니다. 48GB 통합 메모리를 가진 맥 스튜디오 M5 Max에서 안정적으로 구동되었습니다.
한국어 답변 품질은 어떤가요?
한국어 답변 점수는 5점 만점에 5점이며, 외국어가 섞이지 않았습니다. 요청된 장점과 주의점을 명확하고 자연스럽게 전달하는 것으로 평가되었습니다.
코딩이나 도구 호출 능력은 어떤가요?
파이썬 코딩 테스트 10문제 중 9문제, 도구 호출 10문항 중 10문항을 정확히 수행했습니다. 다만, 한 번에 만든 튀는 공 애니메이션은 화면은 나오나 움직이지 않는 현상이 관찰되었습니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Qwen3-8B-4bit를 썼습니다.
측정일 2026-10-20 · 커밋 한 모금