맥 스튜디오 로컬 llm 환경의 Qwen3-Coder-30B-A3B-Instruct-4bit 실측

파이썬 코딩 테스트 통과율(7 / 10)과 빠른 속도가 필요하지만 한국어 답변이나 도구 호출은 쓰지 않는 개발자에게 맞는 로컬 llm 코딩 모델

맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)으로 측정한 로컬 llm 성능 결과입니다. 짧은 입력 답 쓰는 속도는 초당 152.6토큰으로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다. 다만 한국어 답변 점수는 1점으로 외국어가 섞여 한글, 중국어, 베트남어, 영어가 뒤섞여 있어 문장이 자연스럽지 않고 이해하기 어렵습니다.

이 맥에서 잰 숫자

모델	Qwen3-Coder-30B-A3B-Instruct-4bit
원본 저장소	mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit
가중치 용량(GB)	17.2
라이선스	apache-2.0
측정 기기	맥 스튜디오 M5 Max, 통합 메모리 48GB
측정 도구	mlx-lm 0.32.0 (MLX 0.32.3)
측정일	2026-10-20
짧은 입력(512토큰) 답 쓰는 속도(토큰/초)	152.6
짧은 입력 읽는 속도(토큰/초)	3962
긴 입력(4096토큰) 답 쓰는 속도(토큰/초)	130.6
긴 입력 읽는 속도(토큰/초)	5629
최대 메모리 사용(GB)	18.3
한국어 답변 점수(5점 만점)	1
한국어 답변에 외국어 섞임	있음
한국어 객관식(KMMLU 50문항) 정답	21 / 50
도구 호출 정확도(10문항)	2 / 10
파이썬 코딩(10문제, 테스트 전부 통과)	7 / 10
형식 지시 따르기(10문항)	4 / 10
긴 글 속 문장 찾기(약 16K토큰)	찾음 (6초)
긴 글 속 문장 찾기(약 32K토큰)	찾음 (18.1초)
한 번에 만든 튀는 공 애니메이션	움직임

답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.

한국어로 물어봤더니

질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.

장점 two: 1. ** privacy 보호**: 모델이本地에서 작동 nên, sensitive한 데이터를 서버로 보내지 않어 privacy가 보호됩니다. 2. **연결 없이 사용**: internet connection이 필요 없이 offline에서 AI 모델을 사용할 수 있어 convenience가 higher합니다. 주의할 점 one: - **Hardware requirements**: powerful hardware (GPU, RAM)가 필요할 수 있어, older Mac or low-end models은 performance issues가 발생할 수 있습니다.

한글, 중국어, 베트남어, 영어가 뒤섞여 있어 문장이 자연스럽지 않고 이해하기 어렵습니다.

한 번에 만든 튀는 공 애니메이션

"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.

이럴 때 맞아요

파이썬 코딩 문제 해결이 필요할 때 (10문제 중 7문제 테스트 통과)
긴 글 속 문장 찾기 작업 (약 16K토큰 6초, 약 32K토큰 18.1초 소요)
빠른 답 쓰는 속도가 필요할 때 (짧은 입력 초당 152.6토큰, 긴 입력 초당 130.6토큰)

이럴 때는 다른 모델을

자연스러운 한국어 대화가 필요할 때 (한국어 답변 점수 1점, 외국어 섞임 있음, KMMLU 21 / 50)
정밀한 도구 호출이 필요할 때 (도구 호출 정확도 2 / 10)
엄격한 형식 준수가 필요할 때 (형식 지시 따르기 4 / 10)

자주 묻는 질문

qwen3-coder 로컬 환경에서 답 쓰는 속도는 얼마나 빠른가요?

짧은 입력(512토큰) 답 쓰는 속도는 초당 152.6토큰, 긴 입력(4096토큰) 답 쓰는 속도는 초당 130.6토큰입니다. 이는 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 훨씬 빠른 속도입니다.

맥 스튜디오 로컬 llm 구동 시 가중치 용량과 메모리 사용량은 어떤가요?

가중치 용량(GB)은 17.2GB이며, 최대 메모리 사용(GB)은 18.3GB입니다. 맥 스튜디오 M5 Max, 통합 메모리 48GB 기기에서 측정 도구 mlx-lm 0.32.0 (MLX 0.32.3)으로 2026-10-20에 측정했습니다.

qwen3 coder 30b a3b instruct 모델의 한국어 답변 품질은 어떤가요?

한국어 답변 점수(5점 만점)는 1점이며 외국어 섞임이 있습니다. 한 줄 평에 따르면 한글, 중국어, 베트남어, 영어가 뒤섞여 있어 문장이 자연스럽지 않고 이해하기 어렵습니다. 한국어 객관식(KMMLU 50문항) 정답은 21 / 50입니다.

로컬 llm 코딩 모델로서 코딩 성능과 애니메이션 생성 결과는 어떤가요?

파이썬 코딩(10문제, 테스트 전부 통과)은 7 / 10을 기록했고, 한 번에 만든 튀는 공 애니메이션은 움직임 결과를 보였습니다. 다만 도구 호출 정확도는 2 / 10, 형식 지시 따르기는 4 / 10입니다.

측정 방법

맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit를 썼습니다.

측정일 2026-10-20 · 커밋 한 모금