같은 27B 모델을 세 프로그램으로 돌려서 속도 2.4배 차이를 본 기록

무엇을 쟀나

장비는 Mac Studio(M5 Max, 메모리 48GB)다. 평소 돌던 AI 서버는 측정하는 동안 내려 두었다. 가중치 파일은 Qwen3.8-27B-4bit(27B 모델을 4비트로 압축한 것) 하나로 맞추고, Splash·oMLX·mlx-lm 세 프로그램으로 각각 실행했다.

질문은 모두 OpenAI 호환 API로 보냈고 세 종류로 고정했다. 짧은 질문은 600토큰짜리 답을 받는 것, 긴 글은 약 17,924토큰 문서를 주고 질문하는 것, 이어진 질문은 같은 문서 대화에서 질문을 2개 더 하는 것이다. 온도는 0으로 두고 생각 기능은 껐다.

결과

Splash의 답 쓰는 속도는 mlx-lm과 oMLX의 2.4배다.

"토큰/초"는 모델이 답을 얼마나 빠르게 뱉어 내는지, 즉 체감 출력 속도다. "긴 글 읽고 첫 글자(초)"는 약 17,924토큰짜리 문서와 질문을 받고 첫 글자를 내놓기까지 걸린 시간이다. 문서가 길수록 이 숫자가 더 크게 느껴진다.

"이어진 질문 첫 글자(초)"는 같은 대화에서 두 번째, 세 번째 질문을 보냈을 때 답이 나오기 시작할 때까지의 시간이다. 앞 내용을 다시 읽는지가 체감으로 드러나는 부분이다. 마지막 열은 측정하는 동안 가장 낮았던 여유 메모리 비율이다.

왜 이런 차이가 나나

Splash는 모델마다 작은 보조 모델(DFlash2)을 자동으로 붙여 "추측 디코딩"을 한다. 보조 모델이 다음에 올 말 여러 개를 미리 짐작하면, 큰 모델이 이를 한 번에 확인하고 맞은 만큼 건너뛴다. 답 쓰는 속도가 빠른 이유다. 대신 보조 모델이 준비된 모델만 올릴 수 있다(작은 시험 모델은 거부됐다).

추측이 잘 맞는 출력(코드, 정해진 형식)일수록 더 빨라진다. 이번에 잰 한국어 긴 설명은 76.3토큰/초였다. 이 맥에서 같은 모델로 평소 여러 작업을 돌린 기록의 중앙값은 108토큰/초였지만, 작업 종류가 섞인 값이라 이 시험과 바로 비교할 수는 없다.

oMLX는 코딩 에이전트처럼 앞부분이 같은 요청이 계속 들어오는 상황을 겨냥한 서버다. 대화 앞부분의 계산 결과를 블록 단위로 저장해 두고 다시 쓴다(메모리가 모자라면 SSD에 둔다). mlx-lm은 애플 MLX 팀이 만든 기본 실행 도구인데, 측정하는 동안 이 맥의 여유 메모리가 가장 많이 줄었다.

세 프로그램 모두 이어진 질문에서는 앞 내용을 다시 계산하지 않아 1초 안에 답을 시작했다.

이 맥에서 고른다면

대화용이라면 Splash다. 76.3토큰/초로 답이 가장 빨리 나와서 쓸 때 체감이 좋다.

에이전트 작업이라면 oMLX다. 앞부분이 같은 요청이 반복될 때 대화 앞부분을 재사용하도록 만들어졌고, 최저 여유 메모리도 52%로 넉넉했다.

긴 문서 작업이라면 Splash(17.75초)와 oMLX(18.17초)가 비슷하니 둘 중 아무거나 써도 된다. mlx-lm(19.74초)은 셋 중 첫 글자가 가장 늦게 나왔고, 여유 메모리도 37%로 가장 적었다.

주의할 점

측정하는 동안에는 평소 돌던 AI 서버를 내리고 한 번에 한 프로그램만 띄웠다. mlx-lm은 처음 잴 때 여유 메모리가 10%까지 내려갔는데, 다른 프로그램을 끈 직후였다. 따로 다시 재니 37%였고, 표에는 다시 잰 값을 넣었다.

추측 디코딩의 효과는 출력 종류에 따라 다르다. 코드나 정해진 형식처럼 다음 말이 뻔한 출력일수록 더 빨라지고, 이번 같은 한국어 긴 설명에서는 76.3토큰/초였다.

출처

• oMLX 0.7.0: https://github.com/jundot/omlx
• mlx-lm 0.32.0: https://github.com/ml-explore/mlx-lm
• Splash 1.2.0: Homebrew 설치
• 측정 시각: 2026-10-21 23:56