AI 순위 산정 방법론
Moket은 투명하고 재현 가능한 방식으로 인공지능 모델 순위를 산정합니다. 이 페이지에서는 데이터 소스, 수집 방법, 정규화 기준, 업데이트 주기를 상세히 설명합니다.
1. 데이터 소스
모든 순위 데이터는 Artificial Analysis의 공개 API를 통해 수집됩니다. Artificial Analysis는 AI 모델의 성능, 가격, 속도를 독립적으로 벤치마킹하는 리서치 플랫폼으로, MMLU, GPQA, HumanEval, SWE-bench, LiveCodeBench 등 학계와 업계에서 널리 사용되는 벤치마크를 통합합니다.
왜 Artificial Analysis인가?
• 다수의 벤치마크를 하나의 통합 지수로 제공 (선택 편향 최소화)
• API 속도·가격을 실측하여 공개 (자체 선언값이 아닌 실측)
• 이미지·영상·보이스 AI까지 동일 방법론으로 평가
• 신규 모델 출시 후 수일 내 데이터 반영
2. 카테고리별 평가 기준
텍스트 AI (LLM)
종합 순위: Intelligence Index — MMLU-Pro, GPQA Diamond, HLE, LiveCodeBench, AIME 등 주요 벤치마크의 가중 종합 지수
코딩 순위: Coding Index — HumanEval, SWE-bench, LiveCodeBench 등 코드 생성·완성 벤치마크 종합
추론 순위: Math Index — MATH, GPQA, HLE, AIME 등 수학·논리 추론 벤치마크 종합
속도 순위: API를 통해 실측한 초당 출력 토큰 수 (tokens/sec) 중앙값
이미지·영상·보이스 AI
이미지 생성: 아레나 ELO 점수 — 사용자들이 두 이미지를 비교하여 투표하는 블라인드 테스트 기반 (사실감/일러스트/편집 세부 카테고리)
영상 생성: 아레나 ELO 점수 — Text-to-Video, Image-to-Video 블라인드 투표 기반 (인물/자연/I2V 세부 카테고리)
보이스 합성: TTS 아레나 ELO 점수 — 음성 샘플 블라인드 비교 투표 기반
한국어 AI
K-EXAONE, HyperCLOVA X, Solar 등 한국어 특화 모델을 별도로 트래킹합니다. 한국어 이해·생성·추론 능력을 평가하는 벤치마크 데이터를 기반으로 합니다.
3. 점수 정규화
각 카테고리 내에서 최고 점수를 100으로 설정하고, 나머지 모델의 점수를 비례적으로 정규화합니다. 이를 통해 서로 다른 단위(Intelligence Index, ELO, tokens/sec)를 동일한 0-100 스케일로 비교할 수 있습니다.
정규화 점수 = (해당 모델 원점수 / 카테고리 내 최고 원점수) × 100
4. 업데이트 주기
매일 자동 업데이트: 매일 KST 09:00경 Artificial Analysis API에서 최신 데이터를 자동 수집합니다.
월별 아카이브: 매월 말 기준 순위 스냅샷을 아카이브에 보관합니다.
순위 변동 표시: 전월 대비 순위 변동(▲/▼)을 모든 모델에 표시합니다.
신규 모델: 새로 벤치마킹된 모델은 NEW 뱃지로 표시됩니다.
5. 내 PC에서 돌리는 AI
대상: Artificial Analysis 지능 지수가 있는 모델 가운데, 제작사의 공식 Hugging Face 계정에 가중치가 공개된 모델만 넣습니다. 다른 사람이 다시 올린 변형·양자화 저장소는 쓰지 않고, 공식 저장소를 찾지 못한 모델은 순위에서 뺍니다.
순서: Artificial Analysis 지능 지수 원점수가 높은 순서입니다. 같은 모델의 추론 강도 변형은 가장 높은 점수 하나로 합칩니다.
필요 메모리(추정): 4비트로 양자화했을 때를 기준으로 총 파라미터(B) × 0.6GB + 1.5GB로 계산합니다. 여러 전문가를 나눠 쓰는 MoE 모델도 전체 파라미터를 다 올려야 해서 총 파라미터로 계산하고, 한 번에 쓰는 활성 파라미터는 속도 참고용으로만 표시합니다. Ollama 공식 배포 크기가 추정과 20% 넘게 다르면 Ollama 크기를 씁니다.
메모리 구간: 추정치가 메모리의 90% 이하일 때 그 구간에 넣습니다(8GB → 7.2GB 이하, 16GB → 14.4GB 이하, 24GB → 21.6GB 이하, 맥 64GB, 맥 128GB). 그보다 크면 서버급으로 보고 순위에서 뺍니다(한국어 모델 탭 포함).
맥 통합 메모리와 그래픽카드 VRAM: 윈도우 PC는 그래픽카드의 VRAM 크기를 기준으로 보세요. 맥(M 시리즈)은 CPU와 GPU가 메모리를 나눠 쓰는 통합 메모리라 64GB·128GB 맥에서도 큰 모델이 돌아가지만, 운영체제와 다른 앱이 쓰는 몫을 빼야 하고 같은 크기의 그래픽카드보다 느릴 수 있습니다.
양자화에 따른 성능 저하: 지능 지수는 원래 정밀도로 잰 값입니다. 4비트로 줄이면 대체로 조금, 작은 모델일수록 더 크게 성능이 떨어질 수 있습니다. 대화(컨텍스트)가 길어질수록 메모리도 더 필요합니다.
라이선스: Apache 2.0·MIT 등은 ‘상업 OK’, 제작사 자체·커뮤니티 라이선스는 ‘조건부’(사용자 수·용도 제한 등 조건 확인 필요), CC BY-NC·EXAONE 라이선스처럼 상업 사용을 막는 것은 ‘비상업’으로 표시합니다. 실제 사용 전에는 Hugging Face의 라이선스 원문을 확인하세요.
갱신: 지능 지수는 순위 갱신 때마다, 라이선스·파라미터·Ollama 배포 여부는 주 1회 다시 확인합니다.
6. 한계 및 유의사항
• 벤치마크 점수는 모델의 성능을 완전히 대변하지 않습니다. 실제 사용 경험과 차이가 있을 수 있습니다.
• 속도와 가격은 API 제공업체의 인프라 상태에 따라 변동될 수 있습니다.
• 이미지·영상·보이스의 ELO 점수는 사용자 선호도 기반이므로 주관적 요소가 포함됩니다.
• 일부 비공개 모델(closed-source)의 벤치마크 결과는 제공업체의 자체 보고에 의존할 수 있습니다.
7. 인용 안내
Moket의 순위 데이터를 인용하실 때는 다음 형식을 권장합니다:
출처: Moket (moket.kr/rankings), Artificial Analysis 벤치마크 기반, [날짜] 기준