같은 모델, 다른 프로그램: Splash vs oMLX vs mlx-lm 실측 비교

가장 빠른 생성 속도와 낮은 메모리 점유를 원하면 Splash, 코딩 에이전트 작업에는 oMLX, 기본 CLI 사용에는 mlx-lm이 적합합니다.

Qwen3.8-27B-4bit 모델을 맥 스튜디오 M5 Max에서 세 가지 프로그램으로 실행해 성능을 측정했습니다. Splash가 답 쓰는 속도에서 가장 빨랐고, oMLX와 mlx-lm은 비슷한 수준을 보였습니다. 각 프로그램의 특징에 따라 선택지가 달라집니다.

같은 모델, 실행 프로그램만 바꿔 잰 숫자

실행 프로그램	답 쓰는 속도(토큰/초)	긴 글 읽고 첫 글자(초)	이어진 질문 첫 글자(초)	최저 여유 메모리(%)
Splash	76.3	17.75	0.22 / 0.25	54
oMLX	31.7	18.17	0.6 / 0.38	52
mlx-lm	31.8	19.74	0.26 / 0.26	37

Qwen3.8-27B-4bit (4비트, 세 프로그램 모두 같은 가중치 파일) · 온도 0, 생각 기능 끔, 같은 질문을 같은 방식(OpenAI 호환 API)으로 보냄. 긴 글은 약 17,924토큰 문서 + 질문. 이어진 질문은 같은 긴 글 대화에 질문을 두 번 더 한 것(앞 내용을 다시 계산하는지 보는 시험)입니다.

이럴 때 맞아요

가장 빠른 생성 속도와 낮은 메모리 점유를 원하는 경우
코딩 에이전트 작업에서 반복적인 프롬프트 처리가 필요한 경우
터미널에서 간단한 명령어로 모델을 실행하고 싶은 경우

주의할 점

추측 디코딩을 지원하지 않는 모델은 Splash의 속도 이점이 제한적일 수 있음
oMLX는 블록 캐시 재사용에 의존하므로 메모리 부족 시 SSD 읽기 지연이 발생할 수 있음
mlx-lm은 기본 설정에서 메모리 점유율이 상대적으로 높음

자주 묻는 질문

Splash가 mlx-lm보다 왜 더 빠른가요?

Splash는 DFlash2 추측 디코딩을 자동으로 적용하여 다음 말 여러 개를 미리 추측하고 큰 모델이 한 번에 확인합니다. 이 시험에서 Splash는 76.3토큰/초로 mlx-lm(31.8토큰/초)보다 2.4배 빨랐습니다.

oMLX와 mlx-lm의 답 쓰는 속도는 어떻게 되나요?

oMLX는 31.7토큰/초, mlx-lm은 31.8토큰/초로 거의 동일한 성능을 보였습니다. 두 프로그램 모두 사람 읽는 속도(초당 약 5토큰)보다 훨씬 빠릅니다.

메모리 사용량은 어느 프로그램이 가장 효율적인가요?

측정 중 최저 여유 메모리 기준으로 Splash가 54%, oMLX가 52%, mlx-lm이 37%였습니다. Splash와 oMLX가 mlx-lm보다 메모리 효율이 더 높았습니다.

긴 문서를 읽는 첫 글자까지 걸리는 시간은 어떻게 되나요?

약 17,924토큰 문서 처리 시 Splash 17.75초, oMLX 18.17초, mlx-lm 19.74초로 세 프로그램 모두 비슷한 수준이었습니다.

← 모델별 실측표 · 측정일 2026-10-22 · 커밋 한 모금