RELATED WORKFEEDBACK LOOP · BASELINE · EVALUATION
PERSONAL TOOL — CHANNEL GROWTH
YT GROWTH
YT GROWTH
COACH
채널 지표와 시장 트렌드로 다음 영상 아이디어를 추천하고, 올린 영상의 성과를 추적해 다음 추천에 되먹이는 로컬 Next.js 대시보드입니다. 내 쇼츠 채널(구독자 약 4천 명)의 데이터로 쓰고 있습니다.
Core question
다음 영상을 감이 아니라 근거로 고르고, 그 선택이 맞았는지까지 스스로 확인할 수 있는가?
Diagnose → Recommend → Track → Validate.
- 진단: 같은 포맷(쇼츠/롱폼) 안의 백분위로 영상 품질 점수를 계산합니다. 조회 속도 20, 시청 지속률 30, CTR 15, 참여 15, 구독 전환 20의 가중 평균이며, API로 얻을 수 없는 지표는 제외하고 다시 계산합니다. 업로드 7일 미만 영상은 평가하지 않습니다.
- 추천: 채널 데이터와 트렌드를 바탕으로 Claude가 영상 아이디어와 제작 패키지(제목안, 훅 자막, 컷 구성 등)를 만듭니다.
- 추적: 기존 영상의 1·3·7·28일 성적으로 기준선을 만들고, 새 영상을 "상위 몇 %"로 비교합니다. 시도한 요소(시리즈 태그, 엔딩 CTA 등)별 효과를 모아 다음 추천에 반영합니다.
- 검증: AI가 매긴 쇼츠 점수와 실제 품질 점수의 순위 상관(Spearman)을 계산하는 기능을 구현했습니다.
모를 때는 판단하지 않고, 비용은 구조로 막았습니다.
표본이 부족하면 보류
한 형식의 기록이 5개 미만이면 기준선을 만들지 않고, AI 점수와 연결된 영상이 5개 미만이면 순위 상관 판단을 하지 않습니다. 작은 표본에서 나온 숫자를 결론처럼 보이지 않게 하기 위해서입니다.
비용 누적 방지
1회 실행은 Claude API를 (제작 패키지 수 + 2)회 호출합니다. 주간 자동 실행은 실패하면 6시간 동안 재시도하지 않아 오류가 비용으로 쌓이지 않습니다.
한계를 화면과 문서에 명시
AI 점수와 추천은 상관관계일 뿐 조회수를 보장하지 않습니다. 단일 사용자 로컬 실행을 전제로 만들었습니다.
설계 기준으로 확인할 수 있는 것.
5가중 품질 점수에 쓰는 지표 (조회 속도·지속률·CTR·참여·구독 전환)
1·3·7·28일기준선을 만드는 성적 시점
5개 미만기준선·순위 상관 판단을 보류하는 표본 기준
~4천실사용 중인 쇼츠 채널의 구독자 수
측정하지 않은 것. AI 점수가 실제 성과를 얼마나 예측하는지는 아직 결론을 내지 않았습니다. 검증 기능은 구현돼 있고, 표본이 쌓이는 중입니다.