검증할 수 없는 출력은
운영 결과가 아닙니다.
LLM과 모델의 결과를 최종 답으로 취급하지 않고, 근거·형식·상태를 검사하는 계층을 둡니다.
AI ENGINEERSEOUL, KRPORTFOLIO 2026
PARK
YUNHU
불확실한 AI 결과를
검증 가능한 시스템으로 바꿉니다.
LLM Systems · Medical AI · Causal Analysis
Reliability · Security · Evaluation
RELIABILITY CORE / 01 INTERACTIVE SYSTEM MAP
INPUTCHAOTIC OUTPUT
OUTPUTVERIFIED SYSTEM
00AT A GLANCE
한눈에 보기
AI 엔지니어 박윤후입니다. LLM 에이전트가 근거 없이 움직이지 않도록 검증·승인·실패 처리를 설계하고, 데이터 분석은 상관에서 멈추지 않고 인과추론으로 확인합니다. 아래 수치는 저장소와 사례 페이지에서 확인할 수 있고, 잘 안 된 부분과 측정하지 못한 것도 함께 적었습니다.
- DevOrch — 에이전트가 쓴 코드는 사람이 승인해야 반영됩니다. 실제 Claude Code 작업 4건이 모두 게이트를 통과했고, 실제 결함 탐지는 12개 중 5개입니다.
- Algo Pipeline — 근거에 연결된 주장만 발행합니다. 자동 발행은 기본 OFF이고, 테스트는 158개에서 198개로 늘었습니다.
- Medical Insight Lab — 3,713개 영상으로 "공포 제목이 조회수를 높인다"는 통념을 PSM·DiD로 검증했습니다(PSM 약 0.65배).
Stack · Python, TypeScript, FastAPI, Next.js, React, PyTorch, scikit-learn, statsmodels, LangChain, Chroma, MCP, OpenAI·Anthropic·Gemini API, SQLite, Docker, GitHub Actions
01VERIFIED IMPACT
무엇을 만들었는지보다,
무엇이 좋아졌는지.
현재 GitHub의 merged PR, README, 검증 기록에서 바로 확인할 수 있는 수치만 사용했습니다. 프로젝트마다 가장 설명력이 큰 변화 하나를 먼저 보여줍니다.
VERIFY ON GITHUB ↗01 / AGENT CONTROLDevOrchMCP control plane
4/4gated agent runs
실제 Claude Code가 작업 4건 모두 분석→리뷰→테스트→커밋 게이트를 따라 진행했습니다. 그중 분류가 놓친 발행 큐 변경을 찾아, 보호 경로를 추가한 뒤 같은 diff를 재현하자 LOW→HIGH로 올라가 사람 승인에서 멈췄습니다.
734 tests · CI on 3 OS · real-defect detection measured 5/1202 / RAG · OJTTopic Thread AIEnterprise knowledge search
3 daysto adopted
동작하지 않던 핵심 검색을 3일 만에 직접 구현해 이스트소프트 OJT 팀 최종 결과물로 채택됐습니다. 5개 소스·5개 문서 형식을 하나의 RAG 검색으로 묶고 사용자 권한대로만 보여 줍니다.
OJT 20 of 200 selected · Notion·Slack·Drive·GitHub·GitLab · PDF·DOCX·XLSX·PPTX·HWPX03 / RELIABILITYAlgo PipelineAutomated verification
158→198tests
+25% 검증 규모 확대. Fact Checker V2, Queue Lineage V2, publish guard와 Instagram 인증 하드닝까지 merged main에서 검증했습니다.
PR #1 158 passed → PR #6 198 passed · auto-publish default OFF04 / REAL-TIME SEARCHGolden-TimeGPS-based ER search
100kmcandidate radius
현재 GPS 위치에서 100km 안에 들어오는 시도를 모두 골라 E-Gen 실시간 가용병상을 병렬 조회하고, 거리·병상·경로를 합산해 상위 10곳의 실시간 ETA를 계산합니다. 서울 기준 8개 지역 · 후보 164곳이 잡힙니다.
Live run: 8/8 scoped E-Gen searches · 164 candidates within 100km · top 10 Kakao ETA05 / MEDICAL AIMedi-MatrixModel-backed vitals
0.795test AUROC
공개 배포의 Vitals를 실제 PhysioNet 2019 기반 GRU 추론으로 연결하고, Production E2E에서 model provenance와 Golden-Time handoff를 검증했습니다.
Challenge Utility 0.345 · Vision remains synthetic/demo · clinical_use=false06 / CAUSAL ANALYSISMedical Insight LabNaive → controlled
0.78×→0.65×PSM estimate
3,713개 영상에서 “공포 제목이 조회수를 높인다”는 통념을 검증했습니다. 단순 비교부터 채널 규모·영상 나이를 통제한 PSM까지 세 설계가 모두 같은 방향을 가리켰습니다.
Naive 0.78× p=.033 · PSM 0.65× p=.036 · DiD +3.4% n.s.02SELECTED WORK
다섯 개의 대표 사례,
하나의 엔지니어링 원칙.
서로 다른 문제를 다루지만, 결과를 그대로 보여주는 데서 끝나지 않고 검증·보안·운영 경계를 함께 설계했습니다.
01DevOrchAgent Control Plane · MCPMCP 8 tools · gated by diff SHA · 734 tests · 4/4 agent runs2026
02Topic Thread AIEnterprise RAG Search · ESTsoft OJT5 sources · 5 doc formats · permission-filtered · adopted in 3 days2026
03Algo PipelineEvidence-bound Content Agent · Reliability198 tests · Fact Checker V2 · Queue Lineage V2 · auto-publish OFF2026
04Medi-MatrixVitals AI · Transfer Decision SupportGRU AUROC .795 · Utility .345 · Production E2E · Vision demo2026
05Medical Insight LabCausal Analysis · Data Science3,713 videos · PSM 0.65× · DiD +3.4% (n.s.)2026
03ENGINEERING PRINCIPLES
좋은 AI 시스템은
결과보다 경계가 선명합니다.
검증할 수 없는 출력은
정확도 하나보다
문제에 맞는 지표를 봅니다.
불균형 데이터, 하위집단, 교란변수와 실제 실패 비용을 반영해 평가 기준을 다시 설계합니다.
데모와 운영의 차이를
코드로 명시합니다.
인증, 입력 검증, 환경 분리, 재시도와 실패 상태까지 포함해야 서비스라고 생각합니다.
04HOW I WORK
문제 정의에서
검증된 결과까지.
- 01Define
사용자 불편, 데이터 한계, 실패 비용을 먼저 정의합니다.
- 02Design
입출력 계약과 상태 흐름, 예외 시나리오를 문서화합니다.
- 03Build
핵심 가설을 확인할 수 있는 최소 단위부터 구현합니다.
- 04Verify
테스트, 품질 게이트, 보안 점검과 적절한 지표로 확인합니다.
- 05Operate
환경을 분리하고 한계와 다음 개선 방향까지 남깁니다.
05RESEARCH & ADDITIONAL WORK
Related research
& independent products.
모델 연구, 멀티모달 시스템, 응급의료 탐색 제품을 각각의 구현 범위로 구분하면서 실제 연결 지점도 함께 보여줍니다.
YT Growth Coach내 쇼츠 채널(구독자 약 4천 명) 데이터로 진단·AI 자동 편집·성과 추적 · AI가 매긴 쇼츠 점수를 실제 7일 성과와 순위 상관으로 비교하는 검증 기능 구현, 표본이 쌓이는 중PERSONAL TOOL ↗IMST-Mamba독립 시계열 연구 · Medi-Matrix와는 별도 연구 프로젝트로 비교·Ablation 근거를 제공RELATED RESEARCH ↗Golden-Time독립 응급의료 탐색 서비스 · Medi-Matrix의 transfer_resources_v1 자원 조건을 받아 후보 탐색/랭킹에 반영LIVE PRODUCT ↗마른길팀 모델 상승전이 Recall 0.731 · 나의 기여: SafeRoute 계약, no_safe_route, fallback 정책 · 일부 Fixture 기반TEAM PROJECT ↗