벤치마크 표만 보고 도구를 고르기보다, 동일한 코드·동일한 프롬프트를 세 서비스에 그대로 입력해 실행 결과로 비교하는 방법을 정리했습니다. 테스트 프롬프트 원문을 그대로 공개해 직접 재현할 수 있습니다.
- 비교 대상: 챗지피티(GPT-5.6, 웹 chat.openai.com) / 클로드(Claude Sonnet 5, claude.ai) / 제미나이(Gemini 3.1 Pro·3.7 Flash, gemini.google.com)
- 테스트 일자: 2026년 9월 / 언어: 파이썬(Python) 기준 3개 과제 — 알고리즘 문제, 버그 수정, 기능 구현
- 실행 환경: 로컬 파이썬 3.x 인터프리터에서 각 도구가 생성한 코드를 그대로 실행해 정답 여부를 확인
- 제외 사항: GPT-6 Astra는 2026년 9월 3일 발표 직후 단계적 배포 중으로 일반 챗 화면 접근이 제한적이어서 이번 비교에서는 제외
.png "챗지피티 vs 클로드 vs 제미나이, 코딩 실력 직접 비교 테스트 절차")
1 벤치마크 대신 직접 테스트가 필요한 이유
각 회사가 발표하는 코딩 벤치마크 점수(SWE-bench, Terminal-Bench 등)는 표준화된 대규모 문제 집합을 기준으로 측정됩니다. 문제는 이 점수가 실제 업무에서 마주치는 짧고 지저분한 코드, 사내 코드베이스 특유의 관례, 애매하게 적힌 요구사항까지 대표하지는 않는다는 점입니다. 같은 프롬프트를 세 도구에 그대로 넣고 결과를 직접 실행해보는 방식은 벤치마크가 잡아내지 못하는 실무 감각의 차이를 보여줍니다.
벤치마크는 회사마다 측정 방식, 채점 기준, 재시도 허용 횟수(pass@1 vs pass@k)가 다르기 때문에 서로 다른 회사가 발표한 점수를 직접 비교하는 것 자체가 방법론적으로 부정확합니다. 반면 같은 사용자가 같은 프롬프트를 같은 날 세 도구에 입력하면, 적어도 "이 문제에서는 이 도구가 이렇게 답했다"는 사실 자체는 왜곡 없이 비교할 수 있습니다. 이 포스트가 벤치마크 수치를 나열하는 대신 실제 실행 로그를 기준으로 삼은 이유입니다.
다만 개인이 진행하는 직접 비교에도 한계는 있습니다. 테스트 과제 수가 적고, 한 번의 시도만으로 우열을 판단하면 우연에 의한 결과일 수 있습니다. 이 포스트의 결과는 "이 3개 과제, 이 시점 기준"이라는 조건 안에서만 유효하며, 다른 언어·다른 난이도의 과제에서는 결과가 달라질 수 있습니다.
2 테스트 방법론 — 3개 과제와 실제 프롬프트
아래 3개 과제는 실무에서 자주 마주치는 유형(알고리즘 구현·버그 수정·기능 추가)을 기준으로 구성했습니다. {} 안의 내용만 교체하면 동일한 조건으로 직접 재현할 수 있습니다.
세 과제는 난이도와 성격이 다릅니다. 과제 1은 "정답이 명확한 알고리즘" 유형으로 코드가 실행되는지, 시간복잡도 조건을 지켰는지만 확인하면 됩니다. 과제 2는 "이미 있는 코드에서 문제를 찾는" 유형으로, 버그를 몇 개나 정확히 짚어내는지가 핵심입니다. 과제 3은 "요구사항을 코드로 옮기는" 유형으로, 세부 조건(존재하지 않는 제목 처리 등)을 빠뜨리지 않는지를 봅니다. 단일 유형만 테스트하면 결과가 한쪽으로 치우칠 수 있어 세 유형을 섞었습니다.
3 과제 2 실행 검증 결과 — 버그 수정
과제 2(버그 수정)는 클로드(Claude Sonnet 5)가 생성한 코드를 실제 파이썬 인터프리터에서 실행해 검증했습니다. 원본 코드를 먼저 그대로 실행해 어떤 결과가 나오는지 확인한 뒤, 수정된 코드를 실행해 비교했습니다.
{'name': 'E', 'price': 33000, 'stock': 2}
딕셔너리 1개만 반환됨(리스트가 아님). 가격도 최고가가 아닌 낮은 순으로 정렬된 상태에서 인덱싱해 엉뚱한 상품이 나옴.
[E(33000), C(28000), A(15000)]
재고 있는 상품 중 가격 내림차순 상위 3개가 리스트로 정확히 반환됨. 검증 코드의 assert 통과 확인.
원본 코드에는 버그가 2개 겹쳐 있었습니다. 첫째, sorted()에 reverse=True를 지정하지 않아 오름차순으로 정렬됐습니다. 둘째, 상위 n개를 가져오려면 슬라이싱([:n])을 써야 하는데 인덱싱([n])을 사용해 리스트가 아니라 단일 항목이 반환됐습니다. 두 버그 모두 실행 시 에러 없이 "그럴듯한" 결과를 반환하기 때문에, 테스트 코드 없이 눈으로만 검토하면 놓치기 쉬운 유형입니다. 클로드는 두 버그를 모두 짚어내고 수정된 코드가 실제로 정답과 일치하는지 확인하는 검증 코드까지 함께 작성했습니다.
4 3개 과제 종합 비교표
아래 표는 동일한 프롬프트를 세 도구에 입력했을 때 확인해야 할 채점 기준과, 이번 테스트에서 실제 실행까지 완료한 결과를 정리한 것입니다. 챗지피티·제미나이 결과는 각 서비스의 웹 화면에서 위 프롬프트를 그대로 입력해 직접 확인한 뒤 채워 넣는 것을 권장합니다.
| 과제 | 채점 기준 | 챗지피티 (GPT-5.6) | 클로드 (Sonnet 5) | 제미나이 (3.1 Pro / 3.7 Flash) |
|---|---|---|---|---|
| 1. 알고리즘 | 실행 성공 여부 / O(n) 조건 준수 / 4개 테스트 케이스 결과 일치 | 【직접 측정 후 기재】 | 【직접 측정 후 기재】 | 【직접 측정 후 기재】 |
| 2. 버그 수정 | 버그 2개 모두 식별 여부 / 수정 코드 실행 성공 / 검증 코드 포함 여부 | 【직접 측정 후 기재】 | 버그 2개 모두 식별, 수정 코드 실행·검증 통과 (Section 3 참고) | 【직접 측정 후 기재】 |
| 3. 기능 구현 | 4개 메서드 모두 구현 / 예외 대신 False 반환 조건 준수 / 예시 코드 정상 동작 | 【직접 측정 후 기재】 | 【직접 측정 후 기재】 | 【직접 측정 후 기재】 |
.png "챗지피티 vs 클로드 vs 제미나이 3개 과제 채점 기준 요약 카드")
5 직접 적용 결과
2026년 9월, 위 3개 과제 중 과제 2(버그 수정)를 클로드(Claude Sonnet 5)로 실제 실행해 검증했습니다. 아래는 각 레이어별로 확인한 내용입니다.
과제 2의 원본 버그 코드를 먼저 그대로 실행해 어떤 값이 나오는지 확인했습니다. 정렬 순서를 뒤집는 reverse=True가 빠져 있었고, 상위 n개를 슬라이싱이 아닌 인덱싱으로 가져와 리스트 대신 단일 딕셔너리가 반환되는 두 가지 문제를 실행 결과로 직접 확인했습니다. 이후 클로드가 제시한 수정 코드를 동일한 테스트 데이터로 다시 실행해, 재고가 있는 상품 중 가격 내림차순 상위 3개가 정확히 반환되는지 assert 문으로 검증했습니다.
딕셔너리 1개만 반환. 가격이 가장 높은 33,000원 상품이 아니라 정렬 순서상 우연히 걸린 항목이 나옴. 리스트 슬라이싱을 인덱싱과 혼동한 전형적 실수.
재고 있는 상품 중 가격 내림차순 상위 3개가 리스트로 정확히 반환. 클로드가 함께 작성한 assert 검증 코드도 오류 없이 통과.
※ 위 결과는 과제 2(버그 수정)의 클로드 결과에 한정된 실행 검증입니다. 과제 1·3과 챗지피티·제미나이의 결과는 Section 4의 종합 비교표에 안내한 방식으로 직접 실행해 확인해야 합니다.
코딩 AI를 "어떤 게 더 똑똑한가"로 비교하면 답이 나오지 않습니다. 세 도구 모두 상당수 문제를 정확히 풀어내며, 우열은 문제 유형·언어·프롬프트 구체성에 따라 뒤바뀝니다. 실무에서 의미 있는 비교는 "평소 자주 마주치는 유형의 문제에서, 실행 가능한 코드를 한 번에 얼마나 정확히 내놓는가"이며, 이는 벤치마크 표가 아니라 본인이 실제로 다루는 코드와 비슷한 과제로 직접 확인해야 알 수 있습니다.
조건 없이 요청하면 도구마다 설명 분량, 코드 스타일(주석 유무, 함수형 vs 절차형)이 크게 달라져 비교 자체가 어려워집니다. 출력 형식을 프롬프트 단계에서 통일하면, 코드의 정확성과 완성도만 놓고 비교할 수 있습니다. 다만 과제 2·3처럼 "설명을 요구하는" 과제에서는 설명 품질 자체가 채점 기준이 되므로 형식 통일 조건을 넣지 않았습니다.
각 도구의 모델명·출시일·배포 상태는 각 회사 공식 발표 자료를 기준으로 확인했습니다. 회사 간 자체 발표 벤치마크 수치는 측정 방식이 서로 달라 직접 비교하지 않았습니다.
이 포스트의 초안은 Claude Sonnet 5로 작성됐습니다. 과제 2의 버그 코드와 수정 코드는 초안 작성 과정에서 직접 실행해 실제 출력값을 확인했으며, 위에 기재된 실행 결과는 그 로그를 그대로 옮긴 것입니다. 반면 챗지피티와 제미나이의 결과, 그리고 과제 1·3의 실행 결과는 이 초안 작성 시점에는 직접 확인하지 못했으며, 표에 【직접 측정 후 기재】로 표시했습니다.
Section 4 비교표의 챗지피티·제미나이 열과 클로드의 과제 1·3 결과는 발행 전 반드시 각 서비스 화면에서 프롬프트를 직접 실행해 채워야 합니다. 세 도구 모두 버전이 자주 갱신되므로, 시간이 지난 뒤 이 글을 참고한다면 동일한 프롬프트로 다시 테스트해 결과가 달라졌는지 확인하는 것을 권장합니다.
6 이 비교의 한계 — 솔직한 평가
직접 테스트 방식이 벤치마크보다 실감 나긴 하지만, 다음 한계를 알고 참고해야 합니다.
과제 3개는 파이썬·중간 난이도 기준이며, 다른 언어(자바스크립트, 대규모 레거시 코드 리팩터링 등)나 더 어려운 과제에서는 결과가 달라질 수 있습니다. 같은 도구라도 프롬프트를 다시 넣으면(재시도) 답변이 달라질 수 있어 1회 시도만으로 순위를 단정하기 어렵습니다. 각 서비스의 무료·유료 플랜에 따라 사용 가능한 모델이 다르므로, 이 글의 결과가 모든 요금제에 동일하게 적용되지는 않습니다.
- ✗대규모 코드베이스 전체 맥락 이해 능력
- ✗장시간 에이전트형 자동 작업(멀티스텝) 성능
- ✗보안 취약점 탐지 등 전문 영역 정확도
- ✗장기적으로 반복 사용했을 때의 일관성
- ✓단일 함수·단일 버그 수준의 정확도
- ✓요구사항 세부 조건 반영 여부
- ✓같은 프롬프트에 대한 응답 스타일 차이
- ✓본인이 자주 쓰는 언어·패턴에서의 체감 정확도
7 자주 묻는 질문 (FAQ)
8 오늘부터 시작하는 3단계
- ① 오늘: Section 2의 과제 1(알고리즘) 프롬프트를 챗지피티·클로드·제미나이 중 지금 쓰고 있는 도구 하나에 그대로 입력해보십시오. 2~3분이면 결과를 받을 수 있습니다.
- ② 이번 주: 나머지 두 도구에도 동일한 프롬프트를 입력하고, Section 4의 비교표 형식대로 결과를 직접 실행해 기록하십시오.
- ③ 다음 주: 본인이 실제로 다루는 코드 유형으로 프롬프트를 바꿔 같은 방식을 반복하고, 어떤 도구가 본인 업무에 더 잘 맞는지 판단하십시오.
코딩 AI를 고르는 기준은 순위표가 아니라 본인이 자주 마주치는 문제에서 실제로 실행되는 코드를 내놓는지입니다. 클로드의 다른 모델 등급별 차이가 궁금하다면 Claude Opus·Sonnet·Haiku 비교 가이드를, 세 서비스의 요금제가 궁금하다면 챗지피티·클로드·제미나이 요금제 비교를, 클로드로 실제 개발 환경을 세팅하는 방법은 Claude Code 설치·첫 프로젝트 가이드를 참고하십시오.
※ 본 글의 AI 도구 스펙·기능은 각 제공사 공식 문서 기준으로 정리했으며, 이후 변경될 수 있습니다. 실제 성능과 결과는 사용 환경, 계정 상태, 프롬프트 설계에 따라 달라질 수 있습니다. 본 초안은 Claude를 보조 도구로 사용해 작성됐으며, 직접 테스트와 편집 과정을 거쳐 발행됐습니다.