로컬 Qwen 27B를 5개 협업시켜 코딩 대회 문제 돌려 봤다

무엇인가

GVS5H(Gorilla vs. 5 Humans, "gorilla"는 비교 대상인 상위 모델을 가리키는 은유)는 학습 없이, 같은 모델의 새 인스턴스 여러 개를 협업시켜 프론티어급 코딩 성능을 끌어내는 연구다.

방법은 간단하다. 여러 인스턴스가 파일로 공유하는 공용 작업 공간에서 문제를 나눠 푼다. "매니저" 인스턴스가 작업 목록을 관리하고, "워커"가 항목을 하나씩 처리한다. 중간에 코드를 실행해 얻은 결과(샘플 테스트 통과/실패)는 다시 피드백으로 쓰는 루프를 돈다. 공용 파일이 메모 역할을 하기 때문에 각 인스턴스는 새 창으로 시작해도 이전 진행 상황을 이어받을 수 있다.

저자들의 주장은 이렇다. 코딩 대회 시험(LiveCodeBench)의 최신 난이도 100문제에서 로컬 오픈가중치 모델 Qwen3.8-27B가 혼자 풀 때는 66.8%였는데, 같은 모델 여러 개로 협업하면 92.4%까지 올랐다고 한다. 같은 시험에서 비교 대상인 상위 클로즈드 모델(Claude Fable 5)의 단독 호출은 90.4%였다. 협업 방식은 100문제를 푸는 데 출력 토큰을 약 1,860만 개(문제당 약 19만 개) 썼고, 모델은 8비트로 돌렸다.

라이선스는 코드가 MIT, 논문·그림·실행 데이터가 CC BY 4.0이며 비상업 제한은 없다.

직접 해 본 것

저장소를 받았지만 설치하지는 않았다. 인터넷 연결이 차단된 환경이었고 로컬 모델 서버에도 접속돼 있지 않았다. 저장소가 안내하는 벤치마크 스크립트는 uv와 API 키, 네트워크가 필요해서 모델 호출이 들어가는 실험은 처음부터 할 수 없었다. 그래서 코드를 읽고, 표준 라이브러리만으로 도는 스크립트로 아래 작업만 실제로 해 봤다.

1. 저장소에 커밋된 실행 결과를 직접 집계했다. 100문제 결과 파일의 정답 여부를 다시 계산하니 Qwen3.8 계열은 단독 79/100, 협업 87/100(다른 실행에서는 79 대 89)이었다. 협업이 단독보다 앞섰으니 저자가 말한 "66.8%→92.4%"와 방향은 같다. 다만 정확히 92.4%인 수치는 내가 훑어본 파일에서는 찾지 못했다.

1. 협업이 쓰는 공용 작업 공간(커밋된 실행 폴더)을 뒤졌다. 100개 문제 폴더마다 계획 파일, 노트 파일, 작업 목록 파일이 채워져 있었다. 읽어 보면 계획 파일에는 접근법 초안이, 노트에는 제약 목록이, 작업 목록에는 상태가 갱신된 항목이 실제로 들어 있다. 다만 대화 전체를 담은 트랜스크립트 파일은 원문이 커서 커밋에서 빠져 있었고, 그래서 토큰 수와 호출 횟수 통계를 다시 계산하는 스크립트는 실패했다.

1. 못 한 것도 있다. 벤치마크 재실행(인터넷 차단, API 키 없음, uv 없음)과 저장소 그림 재생성(의존성 설치 불가)은 설치 없이는 할 수 없어서 하지 못했다.

대신 이 맥에서 실험을 하나 했다. 로컬에서 돌리는 4비트 Qwen3.8-27B로 같은 시험의 최신 난이도 문제 4개를 풀게 했다.

• 한 번에 풀기: 4문제 중 0개 정답. 출력 토큰 131,072개, 약 21분. 4문제 모두 생각이 길어져, 답을 다 쓰기 전에 호출당 출력 한도(3만 2,768토큰)에 걸려 중간에 끊겼다. 논문은 한도를 12만 8천 토큰으로 두었다.
• 호출당 한도를 9만 토큰으로 늘려 다시: 4문제 중 1개 정답. 출력 토큰 189,362개, 약 27분, 한도에 끊긴 문제는 없었다.
• 같은 모델 5개 협업: 4문제 중 1개 정답. 출력 토큰 691,392개, 약 98분. 처음 한 번에 풀기보다 출력 토큰을 약 5.3배, 한도를 늘린 한 번에 풀기보다 약 3.7배 썼다.
• 정답 1개는 같은 문제였고, 협업도 그 문제를 맞혔다.

여기서 보이는 건 "5개 협업"의 이득이 아니라, 생각을 끝까지 쓸 수 있는 길이를 확보했을 때의 이득이다. 5개 협업은 같은 문제 1개를 맞히는 데 토큰을 3.7배 썼다. 문제가 4개뿐이라 표본이 너무 작고, 논문 숫자를 확인했다기보다 경향만 본 셈이다. 로컬에서 돌렸으니 API 요금은 0원이지만 시간과 전기를 썼다.

이 맥에서 쓸 수 있나

실험에 쓴 맥은 Mac Studio, Apple M5 Max, 메모리 48GB, macOS 27.0.1이고 디스크 여유는 약 158GB다. 로컬 AI 모델 서버(Splash 1.2.0)가 메모리를 약 34GB 상시 차지한다.

4비트 27B 모델이 이 사양에서 돌아간다는 건 4문제를 직접 실행해 확인했다. 다만 메모리의 상당 부분을 모델 서버가 쓰고 있어서, 5개 협업처럼 호출을 반복하는 방식은 시간 부담이 크다. 실제로 4문제에 98분이 걸렸고 출력 토큰은 약 69만 개였다.

저자 실행 데이터를 보면 협업은 문제당 5~28회 호출(평균 6.6회)로 집계됐다. 저자의 실행 환경 사양은 공개돼 있지 않아서 이 맥과 직접 비교하기는 어렵다.

이런 분께

맞아요: 로컬에서 모델을 돌리며 멀티 에이전트 협업 패턴을 직접 체험해 보고 싶은 분. 코딩처럼 기계가 정답을 판정할 수 있는 문제를 반복해서 풀 때, 짧은 호출 여러 번과 파일 메모를 조합해 긴 컨텍스트의 한계를 우회하는 방식이 궁금한 분.

안 맞아요: 벤치마크 숫자를 그대로 믿고 바로 도입하려는 분. 4문제 표본에서 본 건 경향뿐이고, 100문제 단위 비교는 저자의 실행 결과(저자 스크립트의 판정)로만 확인했다.

주의할 점

• 저자의 66.8%→92.4%, +25.6%p 같은 수치는 저자 실행의 커밋 결과이며 내가 재현한 값이 아니다. 저자 스크립트가 "통과"로 판정한 값을 그대로 쓴 것이라, 다시 계산해도 재검증은 어렵다.
• 저장소의 실행 결과 폴더에는 코딩 대회 문제 원문(AtCoder·LeetCode·Codeforces)이 들어 있다. 이 폴더를 그대로 재배포하면 각 사이트 약관에 걸릴 수 있다. 코드와 산출물(계획·노트·코드)은 자유롭게 재사용해도 된다.
• 협업은 호출을 반복하므로 시간과 전기가 실제 비용이다. 출력 한도를 어떻게 두느냐에 따라 결과 해석도 달라진다(이번 시험에서는 한도 부족이 0개 정답의 주된 요인이었다).

출처

• GitHub: https://github.com/slee-persis/GVS5H (논문·코드, MIT) — 2026-10-26 확인
• 이 글의 실험 기록: Mac Studio(M5 Max, 48GB, macOS 27.0.1)에서 설치 없이, 인터넷 차단 환경에서 직접 실행한 기록 (2026-10-26)