커밋 한 모금맥(Mac)에서 MiniCPM5-2B-mlx-4Bit 직접 돌려본 실측 결과
빠른 추론 속도가 필요한 맥 로컬 llm 초보자에게 적합하지만, 한국어 품질과 코딩 정확도가 낮은 모델입니다.
맥 스튜디오 M5 Max에서 MLX 기반 MiniCPM5-2B-mlx-4Bit을 구동한 결과, 짧은 입력 시 238토큰/초, 긴 입력 시 242.5토큰/초의 속도를 기록했습니다. 그러나 한국어 답변 점수는 5점 만점에 2점, KMMLU 정답률은 17/50로 낮은 편입니다.
이 맥에서 잰 숫자
| 모델 | MiniCPM5-2B-mlx-4Bit |
|---|---|
| 원본 저장소 | mlx-community/MiniCPM5-2B-mlx-4Bit |
| 가중치 용량(GB) | 1.4 |
| 라이선스 | 확인 안 됨 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-23 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 238 |
| 짧은 입력 읽는 속도(토큰/초) | 7572 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 242.5 |
| 긴 입력 읽는 속도(토큰/초) | 10791 |
| 최대 메모리 사용(GB) | 2.4 |
| 한국어 답변 점수(5점 만점) | 2 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 17 / 50 |
| 도구 호출 정확도(10문항) | 1 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 7 / 10 |
| 형식 지시 따르기(10문항) | 8 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (2.4초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (6.8초) |
| 한 번에 만든 튀는 공 애니메이션 | 화면 안 나옴 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
장점: 즉시 작동, 비용 절감. 주의: 데이터 품질 중요.
문장이 부자연스럽고, 맥 환경의 구체적인 장점과 주의사항을 설명하지 않아 정보 전달력이 떨어진다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 로컬 llm 구축
- 맥 로컬 llm 성능 비교
- 맥북 llm 구동
- 맥 미니 로컬 llm
이럴 때는 다른 모델을
- 한국어 로컬 llm 추천
- 코딩 용 로컬 llm 추천
- 로컬 llm 순위
자주 묻는 질문
맥에서 MiniCPM5-2B-mlx-4Bit의 실제 속도는?
측정 결과 짧은 입력(512토큰) 시 답 쓰는 속도는 238토큰/초, 긴 입력(4096토큰) 시 242.5토큰/초입니다. 읽기 속도는 각각 7572토큰/초, 10791토큰/초로 매우 빠릅니다.
이 모델의 한국어 능력과 코딩 성능은?
한국어 답변 점수는 5점 만점에 2점으로, 문장이 부자연스럽고 정보 전달력이 떨어집니다. 한국어 객관식(KMMLU) 정답률은 17/50이며, 파이썬 코딩은 10문제 중 7/10이 통과했습니다.
맥 스튜디오 M5 Max에서 메모리는 얼마나 쓰나요?
가중치 용량은 1.4GB이며, 실제 측정 시 최대 메모리 사용량은 2.4GB였습니다. 맥 로컬 llm 디시 등에서 언급된 사양 대비 낮은 메모리 사용이 특징입니다.
긴 문서 처리나 도구 호출은 가능한가요?
약 16K토큰과 32K토큰 길이의 글 속 문장 찾기는 각각 2.4초, 6.8초 만에 완료했습니다. 하지만 도구 호출 정확도는 10문항 중 1/10에 불과합니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/MiniCPM5-2B-mlx-4Bit를 썼습니다.
측정일 2026-10-23 · 커밋 한 모금