Selectstar
셀렉트스타
소개
셀렉트스타는 한국에 본사를 둔 AI 데이터 구축·검증 전문 B2B 기업으로, 크라우드소싱 기반 데이터 라벨링 플랫폼과 라이선스가 확보된 데이터셋 스토어, LLM 신뢰성 검증 자동화 솔루션 Datumo Eval, AI 레드티밍을 한 곳에서 제공한다. 평가용 질문 자동 생성, 답변 자동 채점, RAG Quality 평가, 대시보드 시각화까지 지원해 자체 LLM·RAG 서비스를 출시하기 전 안전성·정확성을 체계적으로 검증할 수 있다. LG CNS·SKT·삼성전자·업스테이지 등 국내 주요 기업이 KorQuad·KLUE 등 한국어 NLP 벤치마크 데이터 구축과 모델 평가에 활용해 왔다.
장점
- •LLM 신뢰성 검증을 위한 평가 데이터 자동 생성·자동 채점·대시보드 시각화를 한 플랫폼에서 처리할 수 있다.
- •크라우드소싱 라벨러 선발·교육·전수 검사 노하우로 누적 2.5억 건 이상의 대규모 한국어 데이터를 구축한 실적이 있다.
- •Human/Safety 자동 레드티밍을 모두 지원해 LLM 안전성 취약점을 출시 전에 체계적으로 검증할 수 있다.
- •도서·언론·방송영상·전문가 QA 등 라이선스 확보 데이터셋을 데이터셋 스토어에서 바로 도입할 수 있다.
- •한국 기업이 운영해 한국어 기반 상담·문서·계약이 가능하고, 신한·우리은행 등 국내 금융권 도입 레퍼런스를 보유한다.
단점
- •공개된 정가가 없어 도입 비용을 사전에 가늠하기 어렵고, 모든 솔루션이 견적 상담을 거쳐야 한다.
- •셀프 서비스 결제·체험 채널이 약해 개인 개발자나 소규모 팀이 즉시 사용하기는 어렵다.
- •국내 기업·기관 레퍼런스에 비해 글로벌 시장에서의 영문 자료·커뮤니티 노출은 상대적으로 적다.
핵심 기능
AI 신뢰성 검증 자동화 (Datumo Eval)
LLM 답변의 정확성·안전성을 평가용 질문 자동 생성→자동 채점→대시보드 시각화까지 한 번에 처리한다.
고품질 데이터 구축·라벨링
크라우드소싱 기반 라벨러 선발·교육·관리로 NLP·이미지·음성 등 대규모 학습 데이터셋을 구축한다.
데이터셋 스토어
도서·언론·방송영상·전문가 질의응답 등 라이선스가 확보된 고품질 데이터셋을 카탈로그에서 바로 도입할 수 있다.
AI 레드티밍 자동화
Seed 데이터 기반 공격 프롬프트를 자동 생성·재생성하여 LLM의 안전성 취약점을 탐지하고 결과를 대시보드로 시각화한다.
RAG Quality 평가
단일/다중 청크 기반 평가용 질문 생성과 Text Decomposition 기반 RAG 답변 품질 평가를 지원한다.
맞춤형 평가 지표·프롬프트
Likert Scale·가중치합·AND/OR 연산 등 자체 설계한 평가 프롬프트와 기준으로 모델별 성능을 비교한다.
공식 사이트 2026-06-26 검증
요금제
2026-06-26 기준
Datumo Eval Basic
Custom
(문의)
- 단일 청크 기반 싱글턴 평가용 질문 생성
- 자체 Safety 평가 데이터 1,000건 제공 (편향성·혐오성·위법성)
- 모델·지표별 점수 비교 대시보드 + 메타데이터 히트맵
Datumo Eval Standard
Custom
(문의)
- Basic의 모든 기능 포함
- 다중 청크 기반 싱글턴 평가용 질문 생성
- Text Decomposition 기반 RAG Quality 평가(기대 답변 포함)
Red Teaming Add-on
Custom
(문의)
- Human 레드티밍 전략 가이드라인 및 운영 기능
- Safety 자동 레드티밍 + Seed 데이터 기반 공격 프롬프트 자동 생성/재생성
- 레드티밍 성공 여부 자동 평가
사용자 리뷰
불러오는 중...