DeepInfer, DeepSeek 추론 엔진: Mac에서는 못 돌리고 코드만 살펴본 기록

무엇인가

DeepInfer는 DeepSeek 모델의 추론을 돌리는 프레임워크다. 추론(inference)은 학습을 마친 모델에 질문을 넣고 답을 뽑아내는 과정인데, 이 프레임워크는 그 과정을 대규모로 빠르게 처리하도록 설계됐다.

이번에 공개된 버전은 DeepSeek-V4.1-Flash 모델 전용 오프라인 추론 기능만 담고 있다. 대규모 서비스에 필요한 KV 캐시 관리, 프리필/디코드 단계 분리 같은 핵심 기능은 이번 릴리즈에 없다.

가장 큰 제약부터 말하면, 하드웨어가 NVIDIA SM100 GPU 또는 화웨이 Ascend 950 NPU로 한정된다. 둘 중 하나가 없으면 설치부터 안 된다.

기본 정보는 이렇다. 라이선스는 Apache-2.0, 언어는 Python이고, 공개 5일 만에 스타 11,666개를 받았다(2026-10-21 06:12 KST 기준).

직접 해 본 것

Mac Studio(M5 Max, 48GB)에서 저장소를 내려받아 확인했다. 인터넷은 차단했고 패키지도 설치하지 않았다.

먼저 패키지를 불러오는 명령을 실행했더니 성공했다. 불러오는 단계에서는 핵심 의존 라이브러리인 PyTorch를 가져오지 않는 구조여서, 설치 없이도 여기까지는 확인할 수 있었다.

플랫폼 감지 코드도 실행해 봤다. Mac에는 GPU·NPU가 없어 해당 경로로 가지 않았고, 이 코드에 Mac에서 엔진을 돌리는 경로가 없다는 것을 알 수 있었다.

README의 오프라인 추론 예제도 실행했다. 도움말 출력까지는 정상이었지만 모델을 내려받는 단계에서 실패했다. 설치하지 않았으니 예상한 결과다. GPU가 있어도 같은 지점에서 멈추는 구조라는 점은 확인했다.

못 한 것도 적어 둔다. C++ 커널 빌드, 실제 모델 추론, 서브모듈(독립 저장소를 저장소 안쪽에 들여온 구조) 확인은 하지 못했다. 모두 NVIDIA 하드웨어나 인터넷이 필요해서 이 Mac 환경에서는 할 수 없다.

$ python3.14 -c "import deepinfer; print(deepinfer.__version__)"
0.1.0

$ python3.14 examples/offline_inference.py --ep 2 --cp 1
ModuleNotFoundError: No module named 'huggingface_hub'
RuntimeError: Some processes failed: [0, 1]   (exit 1)

이 맥에서 쓸 수 있나

못 쓴다. 이 Mac에는 NVIDIA SM100 GPU도, 화웨이 Ascend 950 NPU도 없다. 둘 중 하나를 전제로 하는 프레임워크라 이 환경에서는 설치 자체가 안 된다.

로컬 AI 모델 서버(메모리 약 34GB를 상시 사용)와 함께 쓰는 방법도 생각해 봤다. 이 맥에서 로컬 모델은 Apple 실리콘 전용 경로로 돌리는데, DeepInfer는 그 경로를 지원하지 않는다. 어떤 조합으로도 이 환경에서는 쓸 수 없다.

코드에서 참고할 만한 설계 아이디어는 있었다. 같은 입력이면 항상 같은 출력을 내게 하는 기능, 모델 회귀 검증용 기준 데이터를 관리하는 방식은 하드웨어가 달라도 방법론으로 참고할 만했다. 다만 실제 코드는 이 환경과 상관이 없다.

이런 분께

맞아요: NVIDIA SM100 GPU나 화웨이 Ascend NPU 클러스터가 있고, DeepSeek 모델을 대규모로 서빙하려는 사람. Apache-2.0이라 상업적으로도 쓸 수 있다.

안 맞아요: 이 글과 같은 Mac 환경이거나 해당 하드웨어가 없는 사람. 실행은커녕 설치도 안 되니, 이 기록은 참고 자료로만 읽으시길 바란다.

주의할 점

하드웨어 지원이 매우 좁다. NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU 외에는 공식 지원이 없다. 다른 하드웨어를 쓰는 사람에게는 사실상 해당이 없다.

이번 릴리즈는 완성된 서비스용이 아니다. KV 캐시, 프리필/디코드 분리, 로드 밸런싱이 빠져 있다. README도 완전한 서빙을 하려면 더 필요하다고 밝힌다.

모델을 내려받을 때 외부 코드를 실행하는 옵션이 기본으로 켜져 있다. 이 코드를 그대로 운영에 붙일 생각이라면 이 부분을 반드시 확인하고, 끄거나 점검해야 한다.

성능 수치는 재현하지 못했다. README에 실린 벤치마크(4장 GPU 프리필, 64장 디코드)는 해당 하드웨어가 있어야 재현할 수 있는데, 이번에는 확인하지 못했다.

출처

• GitHub: https://github.com/deepseek-ai/DeepInfer (2026-10-21 06:12 KST 확인)
• 스타 11,666개 / 포크 1,038개 / Apache-2.0 / Python, 모두 위 시각 기준