KoTRL · 기술성숙도 실시간 판정

기술성숙도 자동 판정 시스템

연구개발 계획서 또는 기술 설명문을 입력하면 AI가 4개 핵심 섹션을 추출하고 다층 신뢰도 알고리즘으로 Low · Mid · High를 판정합니다.
Start TRL 입력 불필요 — 텍스트 단독으로 작동하는 실 배포 가능 모델입니다.

16K+

학습 데이터

51.7%

Macro-F1

3중

신뢰도 검증

📄 기술 내용 입력 한국어 · 영어 모두 가능

텍스트 직접 입력

계획서 형식

기술 설명 또는 계획서 내용

예시 불러오기

🔬 기초연구

🧪 실험실 검증

🏭 파일럿 실증

🚀 사업화

❓ 애매한 사례

기술명 (선택)

연도 (선택)

📊 판정 결과

🎯 기술 내용을 입력하고
TRL 판정 실행을 클릭하세요.

AI가 4개 핵심 섹션을 추출하고
신뢰도·불확실성을 정량 분석합니다.

📈 벤치마크 성능

🔬 알고리즘 설계

🗃️ 학습 데이터

🛡️ 신뢰도 체계

No Start TRL 조건 실험 결과

모델 변형	Acc	Macro-F1	High F1
Majority (베이스라인)	0.826	0.152	0.000
M1 Text only	0.715	0.506	0.165
M1 + Retrieval	0.715	0.508	0.163
M1 + Retrieval + Rubric	0.717	0.509	0.164
M1+M2+M3+M4 (All) 최적	0.720	0.517	0.171
Oracle (상한선, 배포불가)	0.734	0.595	0.376

※ Oracle은 Start TRL 입력 필요 — 실제 배포 환경에서 사용 불가

Macro-F1 상승 경로

Majority 베이스라인 0.152

M1 Text only 0.506

All Fusion (배포 권고) 0.517

Oracle 상한선 (배포불가) 0.595

핵심 발견

추가 피처(Retrieval/Rubric/Pseudo) 전부 결합 시 Macro-F1 +1.1%p 향상. 텍스트 단독이 이미 강력한 베이스라인임을 실증하였으며, Start TRL 없는 조건에서 실용적 판정 가능성을 확인하였습니다.

신뢰 기반 분류를 위한 4단계 알고리즘 아키텍처

단순 확률 출력에 그치지 않고, 판정의 신뢰도와 불확실성을 정량화하여 "판정 가능 여부" 자체를 먼저 판단합니다. 이는 오판 비용이 높은 R&D 투자 의사결정 환경에 최적화된 설계입니다.

🎯

KLUE-RoBERTa Fusion

한국어 NLP 최고 성능 모델에 산업 도메인·연도 메타데이터를 결합한 Fusion 아키텍처. 텍스트 표현력과 맥락 정보를 동시에 활용합니다.

핵심 모델

⚖️

Temperature Scaling

딥러닝 모델의 고질적 문제인 과신뢰(overconfidence)를 단일 파라미터로 보정합니다. 실제 정확도와 신뢰도 수치를 일치시켜 수치의 의미를 보장합니다.

확률 보정

🔮

Monte Carlo Dropout

동일 입력에 대해 30회 반복 추론 후 분산을 계산합니다. 분산이 임계값을 초과하면 "판정 불가(재검토 필요)" 플래그를 자동으로 부여합니다.

불확실성 정량화

🛡️

Confidence Threshold

신뢰도 0.60 미만 샘플은 판정을 유보하고 전문가 검토를 권고합니다. 오판을 강제하지 않는 "겸손한 AI" 설계로 의사결정 신뢰성을 보장합니다.

거부 옵션

학습 데이터 구성

NASA TechPort (영어, 14,090건)

CORDIS HE (영어, 634건)

연구개발특구진흥재단 (한국어, 1,387건)

16,111

총 학습 건수

2개

언어 (EN+KO)

98회

전체 실험 수

특구재단 TRL 클래스 분포

Low

14.9%

Mid

82.6%

High

2.5%

Mid 클래스 편중 → Focal Loss (γ=2.0) + 클래스 가중치 적용

데이터 품질 기준

✅

공개 R&D 데이터 100%

NASA, EU, 한국 정부 공식 데이터 — 재현성 보장

✅

전문가 라벨 사용

기관이 직접 부여한 TRL 값만 사용, 자동 생성 라벨 없음

✅

Start TRL 완전 배제

Data leakage 원천 차단 — 실 배포 환경과 동일한 조건

✅

Stratified Split

희소 클래스(High 2.5%) 보존형 분할 — 평가 편향 최소화

🟢

안정 (신뢰도 ≥ 0.75)

높은 확신. 불확실성이 낮고 결과를 직접 활용 가능합니다.

🟡

주의 (0.60 – 0.74)

중간 확신. 결과 참고 후 담당자 확인을 권고합니다.

🔴

재검토 (< 0.60)

판정 유보. 전문가 검토 또는 추가 정보 입력이 필요합니다.

Bootstrap 신뢰구간 (논문 보고 기준)

전체 실험 결과에 대해 1,000회 Bootstrap 재샘플링으로 95% 신뢰구간을 산출합니다.
Macro-F1 = 0.517 [95% CI: 0.489 ~ 0.544] (n=1,000 bootstrap)