커밋 한 모금MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit 맥 스튜디오 로컬 llm 성능 실측
맥 스튜디오 M5 Max, 통합 메모리 48GB 환경에서 빠른 답 쓰는 속도와 자연스러운 한국어 답변이 필요한 사용자에게 맞는 로컬 llm 모델입니다.
맥 스튜디오 로컬 llm 구동 환경(맥 스튜디오 M5 Max, 통합 메모리 48GB)에서 MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit의 로컬 llm 성능을 실측했습니다. 짧은 입력(512토큰) 답 쓰는 속도는 82.3토큰/초, 긴 입력(4096토큰)은 80.9토큰/초로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다. 가중치 용량(GB)은 7.1이며 최대 메모리 사용(GB)은 8.8로 확인되었습니다.
이 맥에서 잰 숫자
| 모델 | MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit |
|---|---|
| 원본 저장소 | mlx-community/MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit |
| 가중치 용량(GB) | 7.1 |
| 라이선스 | 확인 안 됨 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-23 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 82.3 |
| 짧은 입력 읽는 속도(토큰/초) | 2979 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 80.9 |
| 긴 입력 읽는 속도(토큰/초) | 3621 |
| 최대 메모리 사용(GB) | 8.8 |
| 한국어 답변 점수(5점 만점) | 5 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 22 / 50 |
| 도구 호출 정확도(10문항) | 9 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 9 / 10 |
| 형식 지시 따르기(10문항) | 8 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (6초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (13.1초) |
| 한 번에 만든 튀는 공 애니메이션 | 화면은 나오나 움직이지 않음 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
맥에 로컬 AI 모델을 설치하면 두 가지 장점이 있습니다. 1. **개인정보 보호**: 대화 내용이 인터넷으로 전송되지 않아, 학업 자료나 개인 메모를 안심하고 입력할 수 있습니다. 2. **오프라인 사용**: 인터넷이 끊겨도 모델이 계속 동작해, 도서관이나 캠퍼스에서 편하게 쓸 수 있습니다. 주의할 점은 **컴퓨터 사양**입니다. 큰 모델은 RAM과 GPU가 부족하면 느려지거나 실행이 안 될 수 있으니, 먼저 작은 모델부터 시작해 보세요.
맥 환경에 맞는 장점과 주의사항을 명확하고 자연스럽게 전달했습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 스튜디오 M5 Max, 통합 메모리 48GB 환경에서 빠른 속도로 맥 로컬 llm을 구동하고 싶을 때
- 한국어 답변 점수(5점 만점) 5점 및 외국어 섞임 없는 자연스러운 한국어 답변이 필요할 때
- 도구 호출 정확도(10문항) 9 / 10 및 파이썬 코딩 9 / 10의 정확한 작업이 필요할 때
- 약 16K토큰(6초) 및 약 32K토큰(13.1초)의 긴 글 속 문장 찾기가 필요할 때
이럴 때는 다른 모델을
- 한국어 객관식(KMMLU 50문항) 정답 22 / 50보다 더 높은 지식 문제 해결 능력이 필요할 때
- 한 번에 만든 튀는 공 애니메이션(화면은 나오나 움직이지 않음)처럼 동작하는 애니메이션 생성이 필요할 때
- 라이선스(확인 안 됨)가 명확해야 하는 프로젝트에 적합한 로컬 llm 모델을 원할 때
자주 묻는 질문
맥 스튜디오 로컬 llm 환경에서 답 쓰는 속도는 얼마나 빠른가요?
짧은 입력(512토큰) 답 쓰는 속도는 82.3토큰/초, 긴 입력(4096토큰)은 80.9토큰/초입니다. 이는 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다.
MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit의 로컬 llm 성능 측정 환경과 메모리 사용량은 어떤가요?
측정 기기는 맥 스튜디오 M5 Max, 통합 메모리 48GB이며 측정 도구는 mlx-lm 0.32.0 (MLX 0.32.3)입니다. 가중치 용량(GB)은 7.1, 최대 메모리 사용(GB)은 8.8입니다.
이 로컬 llm 모델의 한국어 답변 품질과 도구 호출 결과는 어땠나요?
한국어 답변 점수(5점 만점)는 5점이고 한국어 답변에 외국어 섞임은 없었습니다. 도구 호출 정확도(10문항)는 9 / 10, 파이썬 코딩(10문제, 테스트 전부 통과)은 9 / 10, 형식 지시 따르기(10문항)는 8 / 10입니다.
긴 글 속 문장 찾기 성능과 실측에서 나타난 한계점은 무엇인가요?
긴 글 속 문장 찾기는 약 16K토큰에서 6초, 약 32K토큰에서 13.1초 만에 찾았습니다. 반면 한국어 객관식(KMMLU 50문항) 정답은 22 / 50이었고 한 번에 만든 튀는 공 애니메이션은 화면은 나오나 움직이지 않음으로 나타났으며 라이선스는 확인 안 됨입니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit를 썼습니다.
측정일 2026-10-23 · 커밋 한 모금