Data Scientist / LLM Researcher (AI Survey 실험 및 분석)

회사 소개

인텔리시아는 아시아 7개국 수천개 미디어에 개인화추천 기술을 제공하며 1,800억원에 매각된 데이블의 공동대표 및 핵심 멤버들이 새롭게 설립한 AI 스타트업입니다.
TheSurvey.ai: 는 대규모 LLM과 RAG 파이프라인으로 구현된 가상 응답자 집단을 활용하여 전통 설문조사 대비 10배 빠른 속도와 1/5 비용으로 시장 인사이트를 제공하는 AI 설문조사 플랫폼입니다.

업무 내용

• TheSurvey.ai 서비스가 현실과 유사한 설문응답을 만들어낼 수 있도록 다방면의 실험을 수행하고 있습니다.
• 설문실행 아이디어를 실험하고, 각종 변수를 조정하고, 실험 결과를 통계적으로 분석하는 작업을 전담해주실 Data Scientist를 구합니다.
• 채용되실 경우 사내 서베이 실행방법 관련 아이디어의 실험/검증/평가 프로세스 전체를 담당하시게 됩니다.
  • 실험 아이디어는 멤버 전체가 제안하고, 실험 실행과 분석 관련 업무를 하시게 됩니다.
  • 현재는 사업팀 분들께서 ChatGPT나 Claude를 활용하여 파이썬 실험 코드를 작성하여 테스트 하고 계십니다.

주요 업무

아래 내용을 모두 해야하는것은 아니며, 가능하신 범위에 맞춰 조율합니다.

실험 실행 (필수)

• 설계: 설문 응답 품질 개선을 위한 다양한 변수 조정, 새로운 실험 아이디어 발굴
• 실험: LLM API호출, 프롬프트 최적화, 응답 데이터 수집, 아이디어 검증 (POC)
• 통계분석: 실험 결과의 통계적 분석 및 성능 비교.
• 성능 지표 정의: 설문 품질을 정량적으로 측정할 수 있는 KPI 설계

실험 관리 및 자동화 관련 (가능시)

• 사내용 실험관리 플랫폼 개발
  • 코드작성을 최소화 하여 사업팀에서 웹 기반으로 실험을 실행하고 결과를 확인할 수 있는 정도의 구상만 있는 상태입니다.
  • 실험 실행 파이프라인 개발
  • 반복적인 실험을 자동으로 실행 / 결과 저장
  • 사내 개발자와 협업

모델 최적화 (가능시)

• RAG 파이프라인 검증: 검색 증강 생성 시스템 도입 및 성능 평가
• 모델 파인튜닝: 오픈소스 모델의 LoRA 파인튜닝으로 성능 개선

자격 요건

• 통계 분석 실무 경험 1년 이상

  • 가설검정, A/B 테스트 설계 및 분석 경험
  • p-value, 신뢰구간, 효과크기 개념 이해
  • 회귀분석, 분산분석 등 다변량 분석 경험
  • 실험 결과를 바탕으로 의사결정을 지원한 경험

• Python 개발 2년 이상

  • pandas, numpy, scipy 능숙하게 활용 가능
  • 데이터 전처리, 분석, 시각화 경험
  • (LLM 모델 실험 때문에 Python 사용이 필수적입니다)

• 사업팀과의 원활한 협업

  • 사업적으로 필요한 사항은 적극적으로 수용합니다.
  • 요청의 기획 정의가 일부 부족하더라도, 기획 의도를 이해하고 최대한 실행할 수 있도록 지원하는 방향으로 협업합니다.
    • 팀은 속도와 실험을 우선하며, 기능개발은 치명적인 문제가 발생하지 않는 선에서 선 적용 후 구조 개선으로 안정화 시키는 경우가 많습니다

우대사항

(자격 요건을 대부분 갖추셨지만 일부가 부족하신 경우, 아래 경험이 있으시다면 면접을 보고자 합니다)

• 머신러닝 / AI 실험 경험
  • ML 모델 성능 평가 및 하이퍼파라미터 튜닝 경험
  • LLM API 활용 경험 (OpenAI, Anthropic 등) -> MCP나 서비스를 활용하는것이 아닌 Http request / 공식client 직접 사용하신 경우
• 서버 어플리케이션 개발 경험
  • Python 웹 프레임워크 경험 (Flask, Django, FastAPI)
  • Python-DB 연동 개발 경험 (SQLAlchemy, PostgreSQL/MySQL)
  • 백엔드 API 개발 및 운영 경험
• 도메인 경험
  • 설문조사/마케팅 리서치 분야 경험
  • LLM/NLP 관련 프로젝트 경험
• AWS/GCP 클라우드 실무 경험
  • EC2/Compute Engine에 Python 애플리케이션을 직접 배포하고 외부에서 접근 가능하도록 설정한 경험
  • 실제 사용자가 접속하는 서비스를 3개월 이상 직접 운영한 경험
  • CloudWatch/Cloud Monitoring으로 서버 상태(CPU, 메모리, 디스크) 모니터링 설정 경험
  • 서버 장애 발생 시 로그를 확인하고 문제를 해결한 경험

혜택 및 복지

• 초기 기업에서 프로덕트와 함께 성장하는 경험
• 유연한 근무 환경 제공
• 전문성 개발을 위한 교육 지원