커밋 한 모금맥 스튜디오 로컬 llm 환경의 llama 3.1 8b instruct 실측 결과
빠른 텍스트 생성과 코딩 보조가 필요하지만 한국어 객관식 시험 정답률은 중요하지 않은 사용자에게 맞는 모델
맥 스튜디오 로컬 llm 환경에서 mlx-lm 0.32.0 도구로 llama 3.1 8b instruct 모델을 측정한 결과입니다. 짧은 입력 기준 답 쓰는 속도는 초당 115.6토큰으로 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다. 한국어 답변 점수는 5점 만점 중 4점을 기록했으나 한국어 객관식 정답은 15 / 50으로 측정되었습니다.
이 맥에서 잰 숫자
| 모델 | Llama-3.1-8B-Instruct-4bit |
|---|---|
| 원본 저장소 | mlx-community/Llama-3.1-8B-Instruct-4bit |
| 가중치 용량(GB) | 4.5 |
| 라이선스 | llama3.1 |
| 측정 기기 | 맥 스튜디오 M5 Max, 통합 메모리 48GB |
| 측정 도구 | mlx-lm 0.32.0 (MLX 0.32.3) |
| 측정일 | 2026-10-20 |
| 짧은 입력(512토큰) 답 쓰는 속도(토큰/초) | 115.6 |
| 짧은 입력 읽는 속도(토큰/초) | 3232 |
| 긴 입력(4096토큰) 답 쓰는 속도(토큰/초) | 105.6 |
| 긴 입력 읽는 속도(토큰/초) | 3627 |
| 최대 메모리 사용(GB) | 5.9 |
| 한국어 답변 점수(5점 만점) | 4 |
| 한국어 답변에 외국어 섞임 | 없음 |
| 한국어 객관식(KMMLU 50문항) 정답 | 15 / 50 |
| 도구 호출 정확도(10문항) | 9 / 10 |
| 파이썬 코딩(10문제, 테스트 전부 통과) | 9 / 10 |
| 형식 지시 따르기(10문항) | 7 / 10 |
| 긴 글 속 문장 찾기(약 16K토큰) | 찾음 (5.6초) |
| 긴 글 속 문장 찾기(약 32K토큰) | 찾음 (13.9초) |
| 한 번에 만든 튀는 공 애니메이션 | 움직임 |
답 쓰는 속도는 1초에 만들어 내는 토큰(글자 조각) 수입니다. 같은 모델도 기기·메모리·도구 버전에 따라 달라집니다.
한국어로 물어봤더니
질문: 맥에서 로컬 AI 모델을 처음 써 보려는 대학생에게, 장점 두 가지와 주의할 점 한 가지를 한국어로 짧게 알려 줘.
대학생님! 맥에서 로컬 AI 모델을 처음 써 보시는군요. 장점 두 가지를 알려드리겠습니다. 1. **데이터 보호**: 로컬 AI 모델은 데이터가 서버에 업로드되지 않으므로, 민감한 개인 정보를 다룰 때 보다 안전합니다. 2. **빠른 처리**: 로컬 AI 모델은 데이터가 로컬에 저장되어 있으므로, 처리 속도가 빠릅니다. 주의할 점 한 가지를 알려드리겠습니다. 1. **데이터 관리**: 로컬 AI 모델은 데이터를 관리하는 책임이 자신에게 있습니다. 데이터를 올바르게 관리하고, 데이터의 보안을 유지해야 합니다. 이러한 장점과 주의할 점을 참고하시면, 맥에서 로컬 AI 모델을 성공적으로 써 보실 수 있을 것입니다!
자연스러운 한국어로 작성되었으나, 로컬 모델의 속도 장점 원인을 데이터 저장 위치로 잘못 설명하는 논리적 오류가 있음.
한 번에 만든 튀는 공 애니메이션
"회전하는 육각형 안에서 공 8개가 튀는 HTML 을 한 파일로 만들어 줘"라는 요청에 처음 낸 답을 그대로 실행한 화면입니다.
이럴 때 맞아요
- 파이썬 코딩 보조가 필요한 작업 (10문제 중 9 / 10 테스트 통과)
- 도구 호출 작업이 필요한 환경 (정확도 9 / 10)
- 사람이 읽는 속도보다 빠르게 결과를 받아보는 일상적 대화 작업
이럴 때는 다른 모델을
- 한국어 객관식 문제 풀이가 필요한 작업 (KMMLU 50문항 중 15 / 50 정답)
- 엄격한 형식 지시 준수가 핵심인 작업 (형식 지시 따르기 7 / 10)
- 정밀한 논리 설명이 필수적인 한국어 추론 작업
자주 묻는 질문
맥 스튜디오 로컬 llm 환경에서 답 쓰는 속도는 얼마나 나오나요?
짧은 입력(512토큰) 기준 답 쓰는 속도는 초당 115.6토큰, 긴 입력(4096토큰)에서는 초당 105.6토큰입니다. 사람이 읽는 속도(초당 약 다섯 토큰 안팎)보다 빠릅니다.
llama 3.1 8b instruct 실행 시 메모리는 얼마나 사용되나요?
모델 가중치 용량은 4.5GB이며, 실행 중 측정된 최대 메모리 사용은 5.9GB입니다.
한국어 답변 품질과 코딩 정확도는 어떤가요?
한국어 답변 점수는 5점 만점에 4점으로 외국어 섞임은 없었으나, 한국어 객관식은 15 / 50 정답이었습니다. 파이썬 코딩은 10문제 중 9 / 10 테스트를 통과했습니다.
긴 글에서 문장을 찾는 속도는 어떻게 측정되었나요?
약 16K토큰 글 속 문장 찾기는 5.6초, 약 32K토큰 글 속 문장 찾기는 13.9초에 찾음으로 측정되었습니다.
측정 방법
맥 스튜디오 M5 Max, 통합 메모리 48GB에서 mlx-lm 0.32.0 (MLX 0.32.3)로 측정했습니다. 입력 512토큰·4096토큰 뒤 128토큰을 생성하는 시험을 여러 번 반복한 평균이고, 한국어 답변은 온도 0으로 한 번 생성한 원문 그대로입니다(생각 과정은 떼고 답만). 추가 시험(있는 경우)은 모두 코드로 채점합니다: 한국어 객관식은 KMMLU(HAERAE-HUB, CC BY-ND 4.0) 10개 분야 50문항, 도구 호출·파이썬 코딩·형식 지시는 각 10문항(코딩은 인터넷이 막힌 환경에서 숨겨진 테스트 실행), 긴 글 찾기는 약 1만6천·3만2천 토큰 글 속에 넣은 문장을 찾는지, 튀는 공은 한 번에 만든 HTML 이 실제로 움직이는지입니다. 생각 기능은 끄고 온도 0으로 실행했습니다. 가중치는 Hugging Face의 mlx-community/Llama-3.1-8B-Instruct-4bit를 썼습니다.
측정일 2026-10-20 · 커밋 한 모금