커밋 한 모금맥 스튜디오 로컬 llm 환경의 phi 4 mini 실측 결과
가벼운 메모리로 빠른 파이썬 코딩 보조가 필요한 로컬 llm 사용자에게 맞습니다.
2026-10-21에 맥 스튜디오 로컬 llm 환경(M5 Max, 통합 메모리 48GB)에서 mlx-lm 0.32.0 (MLX 0.32.3)으로 phi 4 mini 모델(mlx-community/Phi-4-mini-instruct-4bit)을 측정한 로컬 llm 성능 결과입니다. 가중치 용량 2.2GB의 이 로컬 llm 모델은 짧은 입력(512토큰) 답 쓰는 속도가 초당 192.7토큰으로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다. 긴 입력(4096토큰) 답 쓰는 속도는 초당 163.8토큰이며, 최대 메모리 사용은 3.9GB입니다.
이 맥에서 잰 숫자
| 모델 | Phi-4-mini-instruct-4bit |
|---|---|
| 원본 저장소 | mlx-community/Phi-4-mini-instruct-4bit |
| 가중치 용량(GB) | 2.2 |
| 라이선스 | mit |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-21 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 192.7 |
| 짧은 입력 읽는 속도(토큰/초) | 6453 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 163.8 |
| 긴 입력 읽는 속도(토큰/초) | 7159 |
| 최대 메모리 사용(GB) | 3.9 |
| 한국어 답변 점수(5점 만점) | 2 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 17 / 50 |
| 도구 호출 정확도(10문항) | 1 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 7 / 10 |
| 형식 지시 따르기(10문항) | 2 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (3.2초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (8.6초) |
| 한 번에 만든 튀는 공 애니메이션 | 움직임 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
장점 1: 언어 이해 및 번역 - 한국어로 AI를 사용하는 것은 한국어를 이해하고 번역할 수 있는 능력을 향상시켜 한국어 능력을 향상시킬 수 있습니다. 이는 학습을 더 효율적으로 만들고, 언어 학습에 있어 큰 도움이 됩니다. 주의 사항 1: 데이터 다양성 - AI 모델이 한국어로 작동하도록 설계되었지만, 모든 상황에서 정확하게 작동하지 않을 수 있습니다. 특히 특정 분야의 전문 용어나 문맥이 포함된 경우, 정확성을 신뢰할 수 없게 만들 수 있습니다.
질문에서 요구한 로컬 AI 모델의 장점이 아닌, 한국어 학습 효과를 장점이라 서술하여 의도와 맞지 않습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 파이썬 코딩(10문제, 테스트 전부 통과 7 / 10) 보조가 필요할 때
- 긴 글 속 문장 찾기(약 16K토큰 3.2초, 약 32K토큰 8.6초) 작업을 수행할 때
- 가중치 용량 2.2GB 및 최대 메모리 사용 3.9GB 수준의 가벼운 로컬 llm 구동을 원할 때
이럴 때는 다른 모델을
- 정확한 한국어 답변(5점 만점 중 2점) 및 한국어 객관식(KMMLU 50문항 중 17 / 50) 해결이 필요할 때
- 도구 호출 정확도(10문항 중 1 / 10)가 중요한 작업을 수행할 때
- 형식 지시 따르기(10문항 중 2 / 10) 준수가 필수적일 때
자주 묻는 질문
맥 스튜디오 로컬 llm 환경에서 측정한 답 쓰는 속도는 얼마나 빠른가요?
짧은 입력(512토큰) 답 쓰는 속도는 초당 192.7토큰, 긴 입력(4096토큰) 답 쓰는 속도는 초당 163.8토큰으로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다.
phi 4 mini 모델의 가중치 용량과 실제 메모리 사용량은 얼마인가요?
가중치 용량은 2.2GB이며, 맥 스튜디오 M5 Max, 통합 메모리 48GB 기기에서 측정한 최대 메모리 사용은 3.9GB입니다.
한국어 답변 품질 평가는 어떻게 나왔나요?
한국어 답변 점수는 5점 만점에 2점이었으며, 답변에 외국어 섞임은 없었습니다. 다만 질문에서 요구한 로컬 AI 모델의 장점이 아닌 한국어 학습 효과를 장점이라 서술하여 의도와 맞지 않는다는 평가를 받았습니다.
로컬 llm 코딩 작업 및 지시 수행 능력은 어느 정도인가요?
파이썬 코딩(10문제, 테스트 전부 통과)은 7 / 10을 기록했습니다. 반면 도구 호출 정확도는 10문항 중 1 / 10, 형식 지시 따르기는 10문항 중 2 / 10으로 측정되었습니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Phi-4-mini-instruct-4bit를 썼습니다.
측정일 2026-10-21 · 커밋 한 모금