커밋 한 모금맥 스튜디오 로컬 llm 테스트: llama 3.2 3b instruct 실측 결과
맥 스튜디오 로컬 llm 환경에서 빠른 응답과 적은 메모리 사용량이 필요한 사람에게 맞습니다.
2026-10-20에 맥 스튜디오 M5 Max, 통합 메모리 48GB 기기에서 mlx-lm 0.32.0 (MLX 0.32.3) 도구로 mlx-community/Llama-3.2-3B-Instruct-4bit 모델을 측정했습니다. 가중치 용량 1.8GB, 최대 메모리 사용 3GB이며 짧은 입력(512토큰) 답 쓰는 속도는 초당 236.6토큰으로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다. 긴 입력(4096토큰) 답 쓰는 속도도 초당 198.2토큰을 기록하여 llama 3.2 3b instruct 모델의 로컬 llm 성능을 확인했습니다.
이 맥에서 잰 숫자
| 모델 | Llama-3.2-3B-Instruct-4bit |
|---|---|
| 원본 저장소 | mlx-community/Llama-3.2-3B-Instruct-4bit |
| 가중치 용량(GB) | 1.8 |
| 라이선스 | llama3.2 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-20 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 236.6 |
| 짧은 입력 읽는 속도(토큰/초) | 7108 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 198.2 |
| 긴 입력 읽는 속도(토큰/초) | 8330 |
| 최대 메모리 사용(GB) | 3 |
| 한국어 답변 점수(5점 만점) | 4 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 18 / 50 |
| 도구 호출 정확도(10문항) | 4 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 8 / 10 |
| 형식 지시 따르기(10문항) | 2 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (2.8초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (7.6초) |
| 한 번에 만든 튀는 공 애니메이션 | 움직임 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
mac에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 알려드리겠습니다. **장점 1. 빠른 처리 시간** mac에서 로컬 AI 모델을 사용하면 컴퓨터의 처리 시간이 줄어들어, 빠른 처리 시간을 제공합니다. 로컬 AI 모델은 컴퓨터의 자원을 사용하여 처리를 수행할 수 있기 때문입니다. **장점 2. 데이터 보안** mac에서 로컬 AI 모델을 사용하면 데이터가 로컬 컴퓨터에 저장되기 때문에 보안이 더 좋습니다. 데이터가 클라우드에 저장되면 보안이 약해질 수 있기 때문입니다. **주의할 점 1. 컴퓨터 자원 부족** mac에서 로컬 AI 모델을 사용하면 컴퓨터 자원(예를 들어, CPU, 메모리, 스토리지)가 부족할 경우 처리 시간이 길어질 수 있습니다. 따라서 컴퓨터 자원을 충분히 사용해야 합니다.
맥을 'mac'으로 표기하는 것이 다소 어색하지만, 내용은 정확하고 문장이 자연스럽습니다.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 맥 스튜디오 로컬 llm 환경에서 가중치 용량 1.8GB, 최대 메모리 사용 3GB 수준의 가벼운 구동을 원할 때
- 짧은 입력 답 쓰는 속도 초당 236.6토큰, 긴 입력 답 쓰는 속도 초당 198.2토큰처럼 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠른 응답이 필요할 때
- 파이썬 코딩(10문제, 테스트 전부 통과) 8 / 10처럼 간단한 코드 작성을 수행할 때
이럴 때는 다른 모델을
- 형식 지시 따르기(10문항) 2 / 10 수준보다 높은 지시 준수가 요구될 때
- 도구 호출 정확도(10문항) 4 / 10 또는 한국어 객관식(KMMLU 50문항) 정답 18 / 50 이상의 정밀한 작업이 필요할 때
자주 묻는 질문
llama 3.2 3b instruct 구동에 사용된 기기와 메모리 측정값은 얼마인가요?
맥 스튜디오 M5 Max, 통합 메모리 48GB 기기에서 측정 도구 mlx-lm 0.32.0 (MLX 0.32.3)으로 진행했습니다. 모델 가중치 용량은 1.8GB이며 최대 메모리 사용은 3GB입니다.
로컬 llm 성능 중 답 쓰는 속도는 얼마나 빠른가요?
짧은 입력(512토큰) 답 쓰는 속도는 초당 236.6토큰, 긴 입력(4096토큰) 답 쓰는 속도는 초당 198.2토큰입니다. 이는 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다.
한국어 답변 품질과 긴 글 속 문장 찾기 측정 결과는 어떠한가요?
한국어 답변 점수는 5점 만점에 4점이며 외국어 섞임은 없습니다. 한 줄 평은 '맥을 \'mac\'으로 표기하는 것이 다소 어색하지만, 내용은 정확하고 문장이 자연스럽습니다.'입니다. 긴 글 속 문장 찾기는 약 16K토큰에서 찾음 (2.8초), 약 32K토큰에서 찾음 (7.6초)을 기록했습니다.
코딩 및 기타 작업에 대한 실측 결과는 어떻게 되나요?
파이썬 코딩(10문제, 테스트 전부 통과)은 8 / 10, 도구 호출 정확도(10문항)는 4 / 10, 형식 지시 따르기(10문항)는 2 / 10, 한국어 객관식(KMMLU 50문항) 정답은 18 / 50입니다. 한 번에 만든 튀는 공 애니메이션은 움직임이 확인되었습니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Llama-3.2-3B-Instruct-4bit를 썼습니다.
측정일 2026-10-20 · 커밋 한 모금