국문초록(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 연구범위·비교설계·핵심 결과가 본문과 같은지 확인하고, TT38 공식 N/A 지표를 성과처럼 표현하지 않는다.
확인 방법 — 4장의 306개 평가성공·14개 생성오류·사람 확인 206건/LLM 단독 100건, 정확성 평균, C−B 및 D−C 유의성 문장을 한 항목씩 대조한다.
수정·승인 판단 — 숫자·분모·근거수준·제한사항이 본문과 일치하고 인과적 단정이 없을 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
항공안전법령의 질의응답에는 검색 관련성뿐 아니라 조문의 효력시점, 법령 위계 및 근거 인용의 신뢰성 확보가 요구된다. 본 연구는 대한민국 고정익 항공운송사업자의 운항승무원 규정을 대상으로 Current Vector RAG(A), All-Version Naive RAG(B), Temporal-Filtered Vector RAG(C), Structure-Aware Temporal Graph RAG(D)를 계단식으로 비교하였다. 공식 자료 99개 파일을 수집하고 61,239개 Text Unit과 15,654개 검색 청크를 구축했으며, 별도의 파일럿 20문항과 홀드아웃 80문항을 사용하였다. 홀드아웃 320회 실행 중 생성 성공 306건을 평가했으며, 14건의 생성오류는 임의로 0점 처리하지 않았다. 306개 평가답변의 점수 출처는 사람 확인 206개와 LLM 단독 평가 100개로 혼합되어 있다. 0–2점 답변 정확성 평균은 A 0.763, B 0.244, C 0.896, D 0.933이었다. 동일 문항에 대한 사후 탐색적 대응검정에서 정확성 점수의 B−A 평균차는 −0.527(95% CI [−0.703, −0.351]), C−B는 +0.640([0.480, 0.813]), D−C는 +0.054([−0.014, 0.135])로 나타났다. 첫 두 대비의 Holm 보정 유의확률은 각각 3.14×10⁻⁶과 2.48×10⁻⁹였으나 D−C는 유의하지 않았다(p=1.000). 다만 평가는 사후의 혼합 평가이므로 확증적 인과 추론으로 해석하지 않는다. 더욱이 최소 충분 정답근거 및 답변별 적용버전의 독립 판정이 확보되지 않아 공식 Recall@5, nDCG@5, 답변 Version Accuracy는 N/A로 동결하였다. 본 연구는 시간필터의 실용적 가치와 그래프 추가효과의 검증 필요성을 함께 제시하고, 평가가능한 지표와 평가 불가능한 지표의 경계를 명시한다.
ABSTRACT(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 영문 수치·지표명·방법론이 국문초록과 1:1 대응하는지 검토한다.
확인 방법 — ‘post-hoc exploratory’, ‘mixed human/LLM scoring’, ‘not estimable’, ‘paired’ 표현 및 평균차의 방향을 국문초록·Table 12–14와 비교한다.
수정·승인 판단 — 영문만의 새로운 수치나 과도한 확정 표현이 없고 핵심 제한사항이 번역되어 있을 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
Reliable legal question answering requires temporal validity, structural legal context, and defensible citations in addition to semantic relevance. This study compares four retrieval-augmented generation (RAG) configurations for Korean aviation safety regulations governing flight crews of fixed-wing air transport operators: Current Vector RAG (A), All-Version Naive RAG (B), Temporal-Filtered Vector RAG (C), and Structure-Aware Temporal Graph RAG (D). The corpus comprises 99 source files, 61,239 text units, and 15,654 retrieval chunks. A 20-question pilot was separated from an 80-question hold-out, resulting in 320 system–question executions. Of these, 306 successfully generated answers received scores: 206 human-confirmed assessments and 100 LLM-only assessments; 14 generation failures remained unscored rather than being imputed as zeros. Mean answer correctness (0–2 scale) was 0.763 (A), 0.244 (B), 0.896 (C), and 0.933 (D). In post-hoc paired exploratory analyses, correctness differences were −0.527 for B−A (95% CI [−0.703, −0.351]), +0.640 for C−B ([0.480, 0.813]), and +0.054 for D−C ([−0.014, 0.135]). Holm-adjusted p-values were 3.14×10⁻⁶, 2.48×10⁻⁹, and 1.000, respectively. These exploratory findings do not establish equivalence between C and D or confirmatory causal effects. Because independently approved minimum sufficient evidence sets and answer-specific applicable-version judgments were unavailable, official Recall@5, nDCG@5, and answer Version Accuracy were frozen as not applicable (N/A, not zero). The study provides an empirically constrained assessment of temporal filtering, graph-based retrieval, and the evidentiary limits of legal RAG evaluation.
Ⅰ. 서론(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 연구 목적을 신규 기술개발이 아닌 항공안전법령 분야의 검증연구로 일관되게 규정했는지 확인한다.
확인 방법 — 1.1–1.3의 논리 흐름이 법적 문제 → 연구공백 → A/B/C/D 통제 비교로 연결되는지 읽고 Table 1과 대조한다.
수정·승인 판단 — 데이터가 뒷받침하지 않는 일반화나 실험 전 우월성 전제가 없을 때 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
1.1 연구배경과 문제 제기(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 항공운항 업무 예시와 법령 위계·시점 유효성 설명이 정확하고 연구범위 안인지 확인한다.
확인 방법 — 승무원 자격·휴식·연료·기상 등 사례를 해당 원문에 대조하고 연구 제외 범위(회전익·정비 등)를 확인한다.
수정·승인 판단 — 항공법률의 일반논리와 실제 연구문항의 초점이 구분되며 법률적 단정에 원문근거가 있을 때 승인.
대조할 근거 — 국가법령정보센터의 해당 조문·시행일·부칙 및 고정익 운항기술기준 원문; DuckDB source_id/provenance
항공운송사업자의 안전운항은 다층적 규제체계의 준수에 기반한다. 운항승무원의 자격·훈련·최근경험·항공신체검사와 비행근무시간·최소휴식, 운항통제, 연료계획, 기상최저치, 접근·착륙 및 복행 판단의 법적 근거는 단일 조문에 국한되지 않는다. 항공안전법과 시행규칙은 위임·세부요건의 계층을 형성하고, 별표와 고정익항공기 운항기술기준은 실제 적용조건을 구체화한다. 동일 조문도 개정·폐지 또는 경과조치를 거치면 특정 과거 비행일과 현재일에 적용되는 내용이 달라질 수 있다.
이때 법령 질의응답이 잘못되기 쉬운 이유는 두 가지다. 첫째, 의미상 유사한 과거법령과 미래 시행예정 법령이 정답 후보에 혼입될 수 있다. 둘째, 올바른 조문 하나를 회수하더라도 위임을 받은 하위규정, 시행일을 바꾸는 부칙, 예외조건 및 별표의 필수 부분을 누락할 수 있다. 이는 단순 텍스트 검색의 성능문제를 넘어 실무자가 오적용 근거를 신뢰하도록 만드는 규제위험으로 연결된다.
예를 들어 별표 18의 연속 7일 최소휴식 기준을 과거 시점에 적용하려면 시행규칙 표제의 대표 시행일만으로 판단할 수 없다. 연구팀 원문 검증 기록에서는 2019년 9월 23일 개정 공포된 별표 18 규정의 별도 시행일이 2020년 1월 1일이며, 그 전후 적용 내용이 달라지는 사례가 확인되었다. 이 사례는 관련 조문을 찾는 문제와 그 조문이 질문 시점에 유효한지를 판별하는 문제가 별개임을 보여준다.
1.2 연구목적과 연구공백(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 선행연구 한계의 주장과 본 논문의 독창적 검증 지점이 일치하는지 확인한다.
확인 방법 — Lewis/VersionRAG/SAT-Graph 원문을 검토하고 ‘시간효과 분리’·‘구조효과 분리’·‘지표 승인 게이트’를 Table 1 및 방법 절에 연결한다.
수정·승인 판단 — 선행연구 성능을 한국 항공법령의 검증된 성능처럼 인용하지 않으면 승인.
대조할 근거 — 문헌 원문 DOI·출판연도·서지와 Research_Master 인용-참고문헌 대응표 / TT41 출판계획
RAG는 외부 지식을 참조해 생성모델의 지식 의존성을 완화하지만, 벡터 검색 점수는 법적 효력과 동일하지 않다[1]. GraphRAG는 문서 관계를 구조화하여 평면 검색을 보완하는 방향을 제시했고[2], VersionRAG는 변경되는 문서의 버전경계를 검색과 연결하였다[3]. de Martim(2025)의 SAT-Graph 접근법은 법적 규범의 계층 및 시간적 변화를 명시적으로 표현한다[4]. 그러나 그러한 구조가 국내 항공안전법령이라는 실제 운항규칙 영역에서도 기준일 기반 시간 필터를 이미 사용하는 시스템보다 실질적인 추가이득을 제공하는지는 별도로 검증해야 한다.
본 연구는 네 시스템 A–D를 계단식으로 구성하여 (1) 모든 버전을 필터 없이 혼합할 때의 변화, (2) 기준일 시간 필터를 도입할 때의 변화, (3) 법령구조·관계 그래프를 추가할 때의 증분효과를 측정하였다. 평가 목적은 SAT-Graph의 우수성을 전제하는 것이 아니라, 어떤 조건에서 어떤 구현이 더 신뢰할 만한 결과를 내는지 밝히는 것이다.
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — A→B→C→D 계단형 시스템 모형에서 B→C 시간필터와 C→D 관계 확장이 정확히 드러나는지 확인한다.
확인 방법 — Table 1·4의 시스템 정의와 도식의 박스/화살표 텍스트, A의 current-only future caveat를 대조한다.
수정·승인 판단 — 모든 화살표가 ‘완전한 인과효과 증명’으로 오독되지 않을 때 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
1.3 연구문제(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — RQ와 실제 시스템 대비가 같은지, 가설검정 범위를 벗어나지 않는지 확인한다.
확인 방법 — RQ1(B−A), RQ2(C−B), RQ3(D−C)를 Table 1·4·9·13과 대조해 방향과 결과의 연결을 점검한다.
수정·승인 판단 — 모든 RQ에 측정 지표와 논의가 존재하며 B−A를 순수 단일요인 효과로 단정하지 않으면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
| 연구문제 | 관심 효과 | 대응 비교 | 검증 초점 |
|---|---|---|---|
| RQ1 | 법령 버전 혼합의 영향 | B − A | 현행 중심 검색 대비 전 버전 무필터 검색의 검색·시간정합성 변화 |
| RQ2 | 시간 필터의 기여 | C − B | 기준일 유효버전 선택이 검색품질과 금지버전 유입을 개선하는가 |
| RQ3 | 그래프 확장의 증분효과 | D − C | 동일한 시간 필터 위에서 구조 관계 확장이 상위 검색 및 근거완전성을 개선하는가 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — RQ1–RQ3 대비가 시스템군 정의와 실제 결과에서 같은 방향인지 확인한다.
확인 방법 — Table 4 시스템정의와 Table 9·13을 연결해 A/B, B/C, C/D 부호와 단일요인 해석 한계를 각각 체크한다.
수정·승인 판단 — 각 RQ가 가설·지표·해석 위치와 연결되면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
Ⅱ. 이론적 배경(주 검토: 손상우)
2장 전체 통합 검토 방법문헌 정합성 · 연구공백 · 시스템 대응
검토할 내용 — 제2장 2.1–2.3 전체의 이론적 주장, 원 논문 인용, 한국 항공안전법령으로의 적용 논리 및 Table 2 선행연구 비교가 일관되는지 확인한다. 2장의 최종 주 검토·문장 수정 제안 책임자는 손상우로 통일한다.
확인 방법 — ① Lewis(2020), Huwiler(2025), Edge(2024), de Martim(2025) 등 원문과 본문의 연구대상·기법·수치를 일대일 대조한다. ② VersionRAG의 버전처리와 SAT-Graph의 구조·시간모델을 구분한다. ③ 2장의 주장·연구공백이 1장 RQ 및 3장 A/B/C/D 시스템 정의와 실제 대응하는지 확인한다. ④ 대한민국 항공안전법령의 시행일·부칙·별표·위임관계 사례가 연구범위를 벗어나지 않는지 법령 원문/Gold에 비추어 확인한다. ⑤ Table 2의 참고문헌 번호·연도·DOI/URL과 본문 인용을 교차검증한다.
수정·승인 판단 — 인용 오류·누락 0건, 선행연구 성과와 본 연구의 실험값 명확히 구분, 구현하지 않은 그래프 기능에 대한 과장 0건, 서론–이론–방법 간 논리 불일치 0건을 충족하면 검토 완료 의견을 제시한다. 기술 구현 사실 자체는 설지원의 로그와 동결 설정을 교차 대조하되 2장의 주 검토자는 손상우로 유지한다.
대조할 근거 — TT03 VersionRAG 검토, TT02 SAT-Graph 문헌모델, TT41 선행연구·인용·투고 계획, Research_Master 참고문헌 대조표, TT26·TT32 기술구현 증빙, TT33 Gold 동결자료.
2.1 의미 검색에서 법령의 시간 정합성으로(주 검토: 손상우)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — RAG/VersionRAG의 도입배경과 시간필터를 법률 적용성 문제로 연결한 서술을 검토한다.
확인 방법 — 원문 DOI·연도·연구대상을 대조하고 문서 최신성, 공포일, 시행일, 질문기준일이 서로 다름을 확인한다.
수정·승인 판단 — 문헌 근거가 정확하고 우리 연구의 재현·응용 사항과 선행연구 자체의 실증결과를 구분하면 승인.
대조할 근거 — 문헌 원문 DOI·출판연도·서지와 Research_Master 인용-참고문헌 대응표 / TT41 출판계획
Lewis 등(2020)은 언어모델의 생성 과정에 외부 검색기억을 결합하는 RAG 체계를 제안하였다[1]. 일반적인 벡터 RAG는 질문과 문서청크 사이의 의미적 유사성을 이용하지만, 규범문서는 유사도가 높다는 이유만으로 법적 적용성이 보장되지 않는다. 법률문서에서 적용 가능성을 검증하려면 개별 조항의 정체성, 효력기간, 부칙, 위임관계 및 개정 전후 계보를 함께 식별해야 한다. 법률 추론 평가를 세분화한 LegalBench 역시 과제별 검증과 법률전문가의 역할을 강조한다[5].
VersionRAG(Huwiler et al., 2025)는 기술문서의 버전 변화에 주목하여 질의 의도에 따라 현재·과거·변경 비교를 구분한다. 해당 연구의 90% 대 58% 및 64%라는 수치는 별도의 기술문서 데이터셋에서 산출된 것으로, 본 연구의 항공안전법령 결과와 직접 비교할 수 없다[3]. 법령은 문서버전뿐 아니라 일부 조항의 지연시행과 경과규정이 존재하기 때문에, 문서수준의 날짜뿐 아니라 조항 단위의 시행경계가 핵심이다.
2.2 법령 구조와 SAT-Graph 접근법(주 검토: 손상우)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — SAT-Graph의 Norm/Component/Version/Action 관계가 실제 연구의 C→D 조작과 일치하는지 확인한다.
확인 방법 — de Martim 원문 그림을 Neo4j TT26 구조 및 D의 graph-first union·fallback 처리와 비교한다; 구현하지 않은 법적 관계를 구현했다고 주장하지 않는다.
수정·승인 판단 — 개념모델과 실제 구현 경계가 명확하고 D의 성능향상을 사전 가정하지 않으면 승인.
대조할 근거 — RAG_Config_Master.yaml / research_pipeline.py / TT22–TT32 설정·로그 / Milvus·Neo4j 검증자료
GraphRAG는 문서 간 엔터티·관계 정보를 기반으로 별도 검색경로를 구축한다[2]. de Martim(2025)은 법령의 위계(hierarchy), 시간적 변화(diachronic structure), 개정행위와 출처(provenance)를 분리하여 SAT-Graph 개념을 제시하였다[4]. 이러한 방법은 법률–시행규칙–별표 등 다단계 관계를 탐색할 수 있다는 장점이 있다. 그러나 후보 근거를 '얼마나 많이' 확보했는지와 '제한된 Top-K에서 얼마나 앞에' 배치했는지는 다른 평가대상이다. 후보 확장 효과가 있더라도 단순 병합이 상위순위를 악화시킬 수 있다.
2.3 항공안전법령의 고유한 적용문제(주 검토: 손상우)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 복수 법령·별표·부칙 및 시간조건의 규제복잡성이 실제 평가문항에 존재하는지 확인한다.
확인 방법 — TT33 QID를 유형별로 확인해 단일규정·다중근거·과거기준일·미시행 질문의 사례와 원문 조항을 대조한다.
수정·승인 판단 — 실제 Gold/질문 유형으로 입증 가능한 사례만 제시하고 적용법령을 혼동하지 않으면 승인.
대조할 근거 — TT33 동결 질문·Gold, TT35 Pilot/Hold-out 분리, 214 근거행·338 원자근거 계획, TT38 요건검토자료
항공안전 분야는 법령의 단일조문보다 누적적 준수요건이 중요한 영역이다. 운항승무원의 자격과 최근경험처럼 상호보완적인 요건이 동시에 충족되어야 하는 질문, 시행규칙 별표에서 정량기준을 확인해야 하는 질문, 개정 전·후를 비교하는 질문은 검색기 성능을 서로 다르게 압박한다. 따라서 성공을 단순 Hit@K 하나로 환원하면 안 되며, 필수근거 세트의 회수율·버전정합성·인용완전성을 병행 평가해야 한다.
| 연구 | 주요 접근 | 본 연구에 주는 함의 |
|---|---|---|
| Lewis et al. (2020) [1] | 외부문서 검색과 생성 결합 | 벡터 RAG의 기본 비교기반 |
| Edge et al. (2024) [2] | 지식그래프 및 요약기반 검색 | 관계 기반 검색의 가능성, 법적 효력은 별도 문제 |
| Huwiler et al. (2025) [3] | 버전변화 명시적 검색 | 버전 인식의 중요성; 항공법령 외적 타당성은 미검증 |
| de Martim (2025) [4] | 계층·시간·개정행위를 표현한 SAT-Graph | 구조 및 시간 규범의 모델링 근거 |
| Guha et al. (2023) [5] | 법률전문가가 설계한 평가문항 | 전문가 Gold 판정 및 오류유형 분해의 필요성 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 각 선행연구의 기여 및 한계가 실제 원문에 기술되어 있는지 확인한다.
확인 방법 — 논문별 abstract/method/results를 대조해 GraphRAG, VersionRAG, SAT-Graph의 평가대상을 정확히 기록한다.
수정·승인 판단 — 확인되지 않은 성능 숫자·DOI·출판지 표기가 없을 때 승인.
대조할 근거 — 문헌 원문 DOI·출판연도·서지와 Research_Master 인용-참고문헌 대응표 / TT41 출판계획
Ⅲ. 연구설계 및 실험방법
3.1 연구대상 및 분석 범위(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 고정익 항공운송사업자 운항승무원 범위를 일관되게 정의했는지 확인한다.
확인 방법 — 수집 99개 파일 목록과 법령별 포함/제외를 Corpus Registry로 재확인하고 상관없는 규정의 혼입 여부를 점검한다.
수정·승인 판단 — 대상·시간범위·자료의 coverage gap이 모두 명시되고 실제 원천목록과 일치할 때 승인.
대조할 근거 — Raw_Corpus_V1 / Aviation_Law_Data.duckdb / Corpus Registry / TT09·TT19 freeze; Research_Master 데이터 QA
분석대상은 대한민국 고정익 항공운송사업자의 운항승무원에게 적용되는 항공안전법, 시행규칙, 별표 및 고정익항공기 운항기술기준의 관련 규정이다. 주제범위는 자격·훈련·최근 비행경험·신체검사·승무시간·비행근무시간·피로·운항통제·비행계획·연료·기상·접근·착륙·복행을 포함한다. 객실승무원, 항공교통관제, 정비와 회전익 고유기준은 원칙적으로 배제하였다. 수집·정제 및 기술적 모델링에 관한 수치는 연구팀 기존 원고 V0.5와 파이프라인 감사기록을 인용하였다[6].
| 처리 단계 | 관측 규모 | 처리 내용 및 지위 |
|---|---|---|
| 원문 수집 | 99개 파일 | 항공안전법·시행규칙·관련 행정규칙·고정익 운항기술기준 및 별표 등 |
| 법령 구조 파싱 | 239,509개 component | 조·항·호·별표 등 계층형 구성요소 식별 |
| 시간 버전 구조화 | 212,970개 provision version | 시행경계와 전후 버전, 개정 관계 모델링 |
| 검색 기반 텍스트 단위 | 61,239개 Text Unit | 부모 조문 본문 누락 복구 후 확정값 |
| 최종 청킹 | 15,654개 chunk | structural_article_paragraph 선정 |
| 그래프 데이터 | 289,575개 node / 485,907개 edge | Neo4j 그래프 재구축 기록. 검색 유효성은 별도 평가 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 법령/버전/텍스트 단위/청크/그래프 건수가 서로 다른 단위를 의미하는지 확인한다.
확인 방법 — DuckDB count(*)·TT19 복구로그·TT26 graph QA·TT21 freeze에 있는 건수를 표의 각각의 셀과 대조한다.
수정·승인 판단 — 99·239,509·212,970·61,239·15,654 및 그래프 규모가 원본과 일치하면 승인.
대조할 근거 — Raw_Corpus_V1 / Aviation_Law_Data.duckdb / Corpus Registry / TT09·TT19 freeze; Research_Master 데이터 QA
3.2 수집·구조화·시간효력 및 검색단위 구성(주 검토: 손상우)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — Raw→구조파싱→시점버전→Text Unit→청크 수가 각 단계 동결본과 일치하는지 확인한다.
확인 방법 — 99/239,509/212,970/61,239/15,654를 DuckDB·로그와 재합산하고 TT19 부모 본문 복구·별표/부칙 처리 및 invalid interval 0 판정을 재검토한다.
수정·승인 판단 — 각 분모와 버전 유효기간의 규칙이 추적 가능하며 최초 수집/정제/동결 상태가 구분되면 승인.
대조할 근거 — Raw_Corpus_V1 / Aviation_Law_Data.duckdb / Corpus Registry / TT09·TT19 freeze; Research_Master 데이터 QA
원문을 구조단위로 파싱해 norm, document version, component, provision version, text unit과 chunk에 대응하는 식별자를 부여하였다. raw text를 보존하고 표시상 필요한 정규화만 수행했으며, 조문·별표·부칙·개정정보의 원문 출처와 SHA-256을 연결하였다. 특히 '문서 전체의 시행일'과 '별표 개정규정의 별도 시행일'을 혼동하지 않도록 공포일, 시행일 및 경과조치를 구분하였다. 시간유효성은 원칙적으로 valid_from ≤ as_of_date < valid_to로 판정하되, 종료일이 없는 버전은 개별 버전정의에 따라 처리하였다.
TT19의 부모 본문 누락을 복구해 검색단위를 61,239개로 확장한 후, TT20–TT21에서 8개 청킹 후보를 비교하였다. 상위 조문과 항 내용을 문맥적으로 결합한 structural_article_paragraph가 최종 선택되었다. 해당 전략은 개발용 청킹 검증에서 Recall@5 0.570, MRR@10 0.583, Hit@10 0.800을 기록하였다. 이는 최종 네 시스템을 비교한 TT36·TT37 성능지표가 아니므로 구분하였다.
3.3 공통 검색·생성기반과 네 시스템의 정의(주 검토: 설지원)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — A/B/C/D 구현 간 공통조건과 차이조건이 정확히 설명되었는지 확인한다.
확인 방법 — Frozen YAML·코드에서 A valid_to is null의 미래시행 유입 가능성, B 전 버전, C as_of_date 필터, D graph-first stable union 및 fallback을 대조한다.
수정·승인 판단 — 실제 작동하지 않는 기능이나 reranking을 기술하지 않고 시스템의 순위결합까지 명시하면 승인.
대조할 근거 — RAG_Config_Master.yaml / research_pipeline.py / TT22–TT32 설정·로그 / Milvus·Neo4j 검증자료
청크의 표현에는 BAAI/bge-m3 기반 1024차원 dense embedding을 사용하였으며, 검색 인덱스는 Milvus, 법령 관계는 Neo4j로 관리하였다. 공통 생성계약은 동일 모델·프롬프트·출력형식과 근거 추적을 목적으로 구성되었다. 기존 원고에는 생성모델의 개발 smoke로 gpt-4.1-mini-2025-04-14가 기록되어 있으나, 이것만으로 TT37의 최종 as-run 모델 리비전까지 확인되었다고 간주하지 않았다. TT36 Freeze manifest에 포함된 실제 실행환경을 우선한다.
| 시스템 | 구성 | 법령 시점 처리 | 비교상 유의점 |
|---|---|---|---|
| A · A_ORIG | 현행 중심 Vector RAG | valid_to is null 필터 | 미래 시행예정본을 완전 차단하지 못함 |
| B | All-Version Naive Vector RAG | 전 버전 무필터 | 과거·현재·미래 버전 혼입 가능 |
| C | Temporal-Filtered Vector RAG | 질문별 as-of 유효시점 적용 | 비교목적의 미래 법령은 별도 표현 필요 |
| D · D_BASE | SAT-Graph RAG | C의 시간조건 + 법령 관계확장 | Graph-first stable union; 통합점수 기반 재순위화 부재 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — A/B/C/D의 실험검색정책 및 D 결합 방식이 그대로 구현됐는지 확인한다.
확인 방법 — RAG YAML과 retrieval.py/Neo4j lookup 로직을 대조하며 A의 future-effective 누출을 명시하고 D가 모든 경로를 score rerank한 것으로 쓰지 않는다.
수정·승인 판단 — 각 시스템의 실제 검색공간·시간필터·graph policy가 일치하면 승인.
대조할 근거 — RAG_Config_Master.yaml / research_pipeline.py / TT22–TT32 설정·로그 / Milvus·Neo4j 검증자료
3.4 평가문항, Gold Standard 및 데이터 분리(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — Pilot20/Holdout80의 독립성·Gold 근거수·평가문항 확정 절차를 검토한다.
확인 방법 — TT33 QID 목록과 Freeze 해시를 기준으로 중복·누출·기준일 오류를 확인하고, 전문가 1인 검토와 연구책임자 adjudication을 실제 절차대로 기록했는지 본다.
수정·승인 판단 — 3인 전문가 합의로 오기하지 않고 Gold 214행·338 원자근거의 상태를 올바로 표현했을 때 승인.
대조할 근거 — TT33 동결 질문·Gold, TT35 Pilot/Hold-out 분리, 214 근거행·338 원자근거 계획, TT38 요건검토자료
개발·진단에 사용한 파일럿 20문항(Q001–Q020)과 본실험 홀드아웃 80문항은 분리하였다. 선정된 홀드아웃 질문은 모든 시스템에 반복 적용되어 80×4=320개 질문–시스템 실행을 구성한다. 홀드아웃의 Gold는 214개 근거행, 338개 원자근거 분할계획으로 관리되었으며, 선정 절차에는 전문가 1인의 내용타당성 검토와 연구책임자 판정이 포함되었다. 독립적인 다수 전문가의 승인으로 기술하지 않는다.
TT38 사후 검토에서는 답변 요건 316개와 출처 증빙 522행을 검토했으나, 해당 검토는 결과 노출 상태에서 이루어진 사후 검토이므로 원래의 Gold를 대체할 독립 사전 블라인드 정답 확정이 아니다. 특히 문헌상 관련 원문의 합집합은 모든 질문에서 동시에 필요한 최소 충분근거가 아니다. Q110·Q112·Q113·Q114·Q115·Q117·Q118 등 날짜 미정 메타데이터 7문항은 나머지 날짜가 확정된 73문항과 분리하여 민감도분석하였다.
3.5 통제변수와 실험절차(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 파일럿 20문항을 최동욱이 주관했음을 정확히 표기하고 TT36/T37 비교조건의 동결 여부를 확인한다.
확인 방법 — Q001–Q020×4=80개 검색 실행, Gold 48개 직접 TU, LLM 미호출, 2026-10-14 as-run freeze의 해시·config·code 확인 후 TT37은 질문만 80개로 변경됐는지 manifest를 대조한다.
수정·승인 판단 — TT36 결과를 TT37 본실험 성능이나 최종 통계검정과 합산하지 않고 실행 주관·동결 책임을 최동욱으로 명시하면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
비교시스템은 승인된 corpus·chunk·embedding과 질문·기준일을 공유하고, 검색정책(A/B/C/D) 이외의 실행조건을 최대한 동일하게 유지하도록 설계되었다. TT36은 Pilot 20×4의 검색경로를 실행하고 2026년 10월 14일 As-run Freeze manifest를 남겼다. TT37은 질문셋만 홀드아웃 80개로 교체해 검색 및 실제 LLM 생성까지 320건을 실행한 것으로 연구팀이 보고하였다. 성공/실패를 삭제하거나 성공만을 분모로 삼지 않고 전체 320건을 보존하였다.
| 항목 | Pilot: TT36 | Hold-out: TT37 |
|---|---|---|
| 질문 | 20개(Q001–Q020) | 80개(선정 홀드아웃) |
| 시스템 | A_ORIG/B/C/D_BASE | 동일 네 시스템 |
| 실행 규모 | 80개 검색 실행 | 320개 검색+생성 실행 |
| 성능 역할 | 설정점검·탐색 분석 | 연구결론의 주 분석 |
| Freeze | TT36_AS_RUN_20261014T140304Z | TT37_HOLDOUT_20261015T163337Z (연구팀 보고) |
| 원시자료 가용성 | TT36 결과 JSON/MD 확인 | TT37 최종 Parquet의 Drive 내 동일본 미확인 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 최동욱 주관 Pilot20과 TT37 Holdout80 실행·Freeze 관계를 확인한다.
확인 방법 — TT36 run manifest 20×4=80 retrieval no LLM·Gold 48·2026-10-14 freeze와 TT37 80×4=320 LLM 수행을 날짜/설정/질문 분리로 교차대조한다.
수정·승인 판단 — TT36 결과의 주 검토 최동욱, 실험 주체·시간·Gold·freeze가 맞고 본실험과 혼합하지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
3.6 지표의 조작적 정의와 비교가능성(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — Pilot Micro와 Holdout Macro, 원본 Top-10과 사후 재조회 Top-10, Gold TU와 chunk/DOCV 매핑을 혼동하지 않는지 확인한다.
확인 방법 — Recall/Hit/MRR의 분모·K·순위리스트 출처를 각각 표시하고 TT38에서 공식 Recall@5/nDCG@5/Version Accuracy가 N/A인 이유를 재현한다.
수정·승인 판단 — 정의가 다른 수치를 동일 지표로 직접 통계비교하지 않으며 N/A는 0점으로 처리하지 않을 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
Hit@K는 질문에서 Gold 근거 하나 이상을 상위 K개 검색결과에서 찾은 비율, MRR@K는 최초 정답근거의 역순위 평균이다. Macro Recall@K는 문항별 필수 Gold 회수비율의 평균, Micro Recall@K는 전체 Gold 회수건수의 비율로 정의한다. 동일한 Gold 집합·매핑규칙이 없으면 각 성능값을 비교할 수 없다.
파일럿 TT36은 직접 TU 일치방식을 사용했고, 홀드아웃 TT37의 기존 보고는 chunk/DOCV 대응 및 Macro 집계방식을 혼용했을 가능성이 있다. TT38은 316개 답변 요건에 대해 사후 점검을 수행했으나 최소 충분한 필수근거, 대체가능한 근거, 질문별 관련성 등급을 독립적으로 확정하지 못하였다. 따라서 공식 Recall@5 및 nDCG@5는 모두 N/A(0점 아님)로 동결했다. 과거 TT37 기술요약에 실린 Recall@K·nDCG@K 비율은 공식 확인된 성능값으로 인용하지 않는다.
반환 청크의 특정일 유효성, 질문이 요구한 적용 법령버전의 정답성, 과거·미래 버전의 비교·배제 역할은 서로 다른 검증대상이다. 실질 답변 133개 중 64개가 복수 적용버전을 사용했으므로 단일 버전 ID 일치로 법률적 버전 정확성을 측정할 수 없다. 공식 답변 Version Accuracy 역시 N/A(0점 아님)로 확정하였다. 답변 평가자가 부여한 0–2점 시간정합성 점수는 공식 답변 Version Accuracy와 다른 지표다.
3.7 통계분석 및 평가 게이트(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 사후 대응비교의 표본 짝수·검정·신뢰구간·다중비교 보정이 동결 원자료와 맞는지 확인한다.
확인 방법 — Answer_paired_exploratory_statistics.csv에서 유효 paired n, 평균차 부호, exact sign-flip, 95% CI, Holm 18개 비교군을 재확인한다.
수정·승인 판단 — p/CI/효과의 방향을 정확히 쓰고 혼합평가·사후분석이라는 제한을 함께 보고하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
동일 홀드아웃 질문에서 B−A, C−B 및 D−C의 점수차를 산출하고, TT38 동결 패키지의 exact sign-flip 검정, 95% 신뢰구간 및 18개 비교군에 대한 Holm 보정 결과를 사용하였다. 생성오류 14건은 임의로 0점 대체하지 않고 분석에서 분리하였다. 가용 답변 306건의 혼합평가 분석(각 시스템 A=76, B=78, C=77, D=75)과 사람 확인 자료에 모두 존재하는 문항만의 분석, 기준일 미정 7문항 제외 분석을 구분한다.
검토대상 선택은 무작위 표본이 아니고 사후 평가이며 점수출처도 혼합되어 있다. 따라서 유의확률은 탐색적 결과로 보고하고, 유의하지 않은 D−C 대비를 시스템 성능의 동등성으로 해석하지 않는다. 모든 점수는 0–2점 원척도에 기초하며, 0점·1점·2점의 배분도 보존한다.
3.8 독립평가·통계검정 기준(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 평가가 완전한 독립 블라인드 전문평가였다고 오인되는 표현이 없는지 확인한다.
확인 방법 — 답변 306개=사람 확인 206개+LLM 단독 100개, 요건 316개 사후 검토, 오류 14개 분리 여부를 동결보고서에서 확인한다.
수정·승인 판단 — 평가자 접근조건·분모·평가혼합·사후 노출을 명시하고 검증완료 주장 범위를 제한하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
TT38의 최종 평가 프레임은 기존 블라인드 ID 검토 계획과 구별된다. 동결된 실제 점수 데이터에서는 답변 306건 중 사람 확인 206건 및 기존 LLM 평가만 존재하는 100건을 함께 이용했으며, 시스템과 결과를 이미 열람한 상태에서 이루어진 316개 요건 검토는 독립 블라인드 Gold 검증이 아니다. 새로운 사람 승인 서명도 추가되지 않았다. 이를 논문에서 ‘306건 전부 인간 블라인드 평가’로 표현하지 않는다.
비교 지표는 정답성(correctness), 완전성(completeness), 인용정확성(citation accuracy), 근거충실성(faithfulness), 평가점수 기준 시간정합성(temporal accuracy), 답변유보 처리(unanswerable handling) 등 여섯 항목의 원래 0–2점 척도를 유지한다. 그 결과와 공식 Recall·nDCG·답변 Version Accuracy 산출 가능 여부는 분리 보고한다.
Ⅳ. 연구결과
4.1 시스템 및 인덱스 구축 결과(주 검토: 설지원)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 파이프라인 규모와 실험환경·검색인덱스 기록을 실물 구축로그에서 확인한다.
확인 방법 — Milvus 15,654 embeddings, BGE-M3 dim 1024, Neo4j 289,575 nodes/485,907 edges 및 TT19 수정 이후 재빌드 이력·해시를 대조한다.
수정·승인 판단 — 원천·색인·그래프가 서로 다른 계층의 건수임을 표시하고 누락/제약 사항을 유지할 때 승인.
대조할 근거 — RAG_Config_Master.yaml / research_pipeline.py / TT22–TT32 설정·로그 / Milvus·Neo4j 검증자료
파이프라인 구축은 99개 원문 파일에서 239,509개의 법령 구성요소와 212,970개의 조항 버전을 생성하고, 본문 복구를 거쳐 61,239개의 Text Unit을 확정하는 과정으로 이루어졌다. 8개 청킹전략 가운데 structural_article_paragraph가 최종 선택되었고, 15,654개 청크가 임베딩과 인덱싱의 기준이 되었다. 이는 법령의 계층·시간정보를 별도 보존하면서 텍스트 검색을 수행할 수 있는 기반이 구축되었음을 뜻한다. 그러나 데이터 모델의 완결성이 곧바로 개별 질의의 높은 검색·생성 정확성을 보증하지는 않는다.
4.2 Pilot 20문항의 탐색적 검색 결과(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 최동욱이 수행한 TT36 파일럿 20문항의 성능·해석만 기술했는지 확인한다.
확인 방법 — TT36 Pilot JSON/MD에서 20문항·Gold 48건·각 A–D Hit@K/직접 TU Micro Recall@K/MRR@10을 재산출하고 D의 fallback 9/20, LLM 미호출 여부를 점검한다.
수정·승인 판단 — 파일럿은 사전 탐색/동결 근거로만 사용하고 Holdout 통계와 합산하지 않으며 모든 TT36 관련 주요 판정을 최동욱에게 확인받으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
| System | Hit@5 | Hit@10 | Micro Recall@10 | Macro Recall@10 | MRR@10 | Micro Recall@20 |
|---|---|---|---|---|---|---|
| A | 70% | 75% | 52.1% | 51.7% | 0.475 | 54.2% |
| B | 20% | 30% | 12.5% | 15.8% | 0.147 | 16.7% |
| C | 70% | 75% | 56.2% | 54.6% | 0.500 | 60.4% |
| D | 60% | 75% | 47.9% | 47.6% | 0.407 | 60.4% |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 최동욱이 실행한 TT36 파일럿 직접 TU 검색값과 48개 Gold 분모를 재검증한다.
확인 방법 — 파일럿 JSON에서 A/B/C/D Hit@5/10, Micro Recall@10/20, Macro Recall@10, MRR@10을 전수 재산출하고 20개 QID를 체크한다.
수정·승인 판단 — 회수율 소수점 반올림까지 일치하고 ‘파일럿 직접 매핑’이라고 표기할 때 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
파일럿에서 System C의 직접 Gold Micro Recall@10은 56.3%로 가장 높았고 B는 12.5%로 가장 낮았다. C→D에서는 Micro Recall@10이 56.3%에서 47.9%로 감소했지만 Micro Recall@20은 양측 모두 60.4%였다. 이는 그래프 확장으로 확보 가능한 검색후보 전체가 유사하더라도 상위 K개 내의 배치가 나빠질 수 있음을 시사한다. 다만 후속 Crosswalk 후보 검토에서는 같은 조문내용이 부모 청크에 들어 있는 경우가 있어 직접 TU 일치만으로 법률근거의 완전 회수를 평가하기 어렵다는 점도 확인되었다.
| 시스템 | 조회 기준일 유효 | 과거 만료 | 미래 시행 |
|---|---|---|---|
| A | 158/200 = 79.0% | 0 | 42/200 = 21.0% |
| B | 14/200 = 7.0% | 165/200 = 82.5% | 21/200 = 10.5% |
| C | 199/199 = 100% | 0 | 0 |
| D | 199/199 = 100% | 0 | 0 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 Top-10 반환청크의 20문항×시스템 분모를 검증한다.
확인 방법 — A 유효 158/200·미시행 42, B 유효 14/200·만료 165·미시행 21, C/D 199/199 유효 여부와 N/A 1건을 확인한다.
수정·승인 판단 — 반환청크 시점유효성이지 답변 Version Accuracy가 아님을 명확히 표시하면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
Pilot의 C와 D가 반환한 Top-10 청크는 모두 기준일에 유효한 것으로 평가되었다. 그러나 이는 필요한 Gold 정답을 모두 회수했다는 뜻이 아니다. 반대로 A는 종결시점만 검사해 42개의 미래 시행 청크를 포함하였고, B는 반환된 200개 중 165개가 과거 만료 버전이었다. 따라서 단순 전 버전 혼합은 유사하지만 법적 효력이 다른 근거가 상위검색을 점유하는 현상을 설명한다.
4.3 Hold-out 80문항의 검색성능(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 잠정 검색수치가 공식 Gold 승인 지표인 것처럼 기술되지 않았는지 확인한다.
확인 방법 — 80×4 run_id·질문별 검색 Top-K와 요약치 출처를 확인하고 사후 재조회 MRR@10의 비교한계를 Table 8과 대조한다.
수정·승인 판단 — 잠정·기술통계임을 표·축·서술 모두에 표시하고 공식 Recall@5/nDCG@5를 N/A 처리하면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
| 시스템 | TT37 보고 Hit@5 | TT37 보고 MRR@10 | 해석 수준 |
|---|---|---|---|
| A | 69% | 0.54 | 집계보고값 |
| B | 24% | 0.23 | 집계보고값 |
| C | 78% | 0.61 | 집계보고값 |
| D | 75% | 0.48 | 집계보고값 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 잠정 검색집계의 출처와 공식 승인상태를 확인한다.
확인 방법 — TT37 run summary/원본 저장 Top-K vs 사후 조회 출처를 재확인하고 Gold crosswalk 미승인 시 정식 Recall/nDCG로 전환하지 않는다.
수정·승인 판단 — 수치에 잠정 표시가 유지되고 비교조건 불일치를 주석으로 설명하면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 잠정 Hit@5·MRR@10 차트의 축·눈금·표시 데이터가 Table 8과 일치하는지 확인한다.
확인 방법 — 각 시스템 막대값/단위(비율 vs pp)를 점검하고 그래프 자체에 exploratory/warning을 표시한다.
수정·승인 판단 — 확정 Retrieval 지표로 오인할 수 없는 시각적 표시가 있으면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
4.4 단계별 대비(RQ1–RQ3)(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — B−A, C−B, D−C의 방향과 분모가 문항별 대응구조와 일치하는지 확인한다.
확인 방법 — Table 9의 차이를 원시 평균으로 다시 빼고 각 시스템의 검색공간 및 D의 병합정책을 함께 읽는다.
수정·승인 판단 — 잠정 검색차이를 확정 유의성이나 일반 SAT-Graph의 실패로 확대하지 않으면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
| 지표 | B−A | C−B | D−C |
|---|---|---|---|
| Hit@5 | −45%p | +54%p | −3%p |
| MRR@10 | −0.31 | +0.38 | −0.13 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 시스템 평균차의 부호와 단위를 다시 계산한다.
확인 방법 — Table 8에 표시한 Hit@5 평균(percentage points)과 MRR@10 평균을 각각 B−A/C−B/D−C로 빼서 Table 9와 비교한다.
수정·승인 판단 — 유의성 없는 기술통계임을 본문·주석에서 구분하면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 검색 품질과 답변 품질의 평가 단계가 다른 원자료에서 나왔음을 시각적으로 보여주는지 확인한다.
확인 방법 — 검색 후보→버전필터→LLM 생성→답변평가 화살표를 TT36·TT37·TT38 기록과 대조한다.
수정·승인 판단 — 청크 시점유효성을 생성답변 버전정확성으로 연결해 확정하지 않으면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
TT37 보고자료에서 검색 Hit@5·MRR@10의 기술통계는 B에서 저조하고 C에서 높으며 D가 C를 초과하지 못하는 방향이었다. 이 값의 검증수준을 넘어 공식 Recall, nDCG 또는 답변 Version Accuracy의 개선이 입증되었다고 주장하지 않는다. 실제 답변품질에 대한 사후 탐색적 비교는 4.10절의 동일 문항 대응점수로 제시한다.
4.5 시간 정합성과 금지버전 관리(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 반환 청크의 시점유효성과 TT38 공식 답변 버전 정확성을 명확히 구별한다.
확인 방법 — A 158/200, B 14/200, C/D 199/199를 직접 재계산하고, 금지버전·일부조항 시행일·부칙·복수 적용시점 때문에 정답 Version Accuracy는 미산출임을 확인한다.
수정·승인 판단 — Top-K temporal validity를 answer Version Accuracy라고 부르지 않고 기준일·정답버전 판정게이트를 명시하면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
파일럿 TT36에서 검색결과 자체의 시점 유효성은 A 158/200(79.0%), B 14/200(7.0%), C와 D 각각 199/199(100%)였다. 이는 반환된 청크가 기준일에 해당되는지를 측정한 검색결과 시점유효 비율로서 법적 질의에 답한 내용의 Version Accuracy와 다르다. A의 valid_to is null 정책은 미래 시행본까지 포함하는 결함이 확인되었으며, B는 만료본이 다수 검색된 것으로 진단되었다.
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 검색 청크 유효성 비율과 TT38 답변 버전정확성 미산출의 차이를 강조하는지 확인한다.
확인 방법 — 그래프에 입력된 비율을 158/200,14/200,199/199와 대조하고 별도 Gold-version 적용성 분모의 미확정 표시를 확인한다.
수정·승인 판단 — TT36 최동욱 검토하에 공식 Version Accuracy를 100%라고 해석하지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
TT38 사후 인용역할 검토에서는 실질 답변 133개 가운데 적용버전이 하나인 답변 69개, 두 개인 답변 53개, 세 개인 답변 11개가 분류되었다. 이러한 인용역할 판정은 정답 근거의 충분성이나 법적 적합성에 대한 최종 인증이 아니다. 공식 답변 Version Accuracy는 독립적으로 승인한 정답 버전 집합이 없어 N/A로 확정하였다.
4.6 D 시스템의 그래프 추가효과와 파일럿 실패경로(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 파일럿 D의 그래프 확대경로 및 fallback 한계와 TT32 구현을 함께 검토한다.
확인 방법 — 20문항 중 graph route 11·fallback 9, scope TU 0 일곱 건 및 scope는 있으나 hit 0 두 건을 로그로 확인; 신규 Top20 17청크의 직접 Gold 추가가 0인 이유를 기술적 원인과 분리한다.
수정·승인 판단 — TT36 수치는 최동욱 최종확인, D의 경로 구현은 설지원 기술교차확인 후 그래프 자체의 일반 성능으로 과도하게 일반화하지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
TT36 Pilot의 D는 20문항 중 11문항에서 그래프 경로를 실질적으로 확보했지만 9문항(45%)은 fallback을 사용했다. 그래프 Scope Text Unit 자체가 0인 질문은 7개였고, 범위는 있으나 그래프 히트가 0인 질문은 2개였다. D의 Top-20에는 C와 다른 청크가 문항별 합산 17개 더해졌지만 C가 찾지 못한 직접 Gold TU를 새로 회수하지는 못했다. 동시에 C/D의 Top-20 직접 Gold 전체 집합은 일치하였다[7]. 이는 그래프의 성패가 '후보를 추가했는가'만으로 판정되지 않음을 보여준다.
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 최동욱이 주관한 TT36 파일럿에서 graph route/fallback 비율을 확인한다.
확인 방법 — TT36 D diagnostics의 graph scope 11/20, fallback 9/20, TU0 7, hit0 2 여부와 Figure 수치를 재대조하고 TT32 기술구현은 설지원에게 교차확인한다.
수정·승인 판단 — fallback 45%가 그래프 성공사례로 계산되지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
문항별로 Q007·Q008에서 D는 C 대비 Top-5 정답근거를 잃었고 Q010·Q015에서도 상위순위가 악화된 반면, Q014는 상위순위의 Gold를 한 개 더 배치하였다. 당시 D 검색기는 GRAPH_FIRST_STABLE_UNION_NOT_SCORE_RERANKED 방식으로 서로 다른 경로의 점수를 직접 재교정하지 않았다. 따라서 graph-first 결합이 높은 관련성의 C 후보를 뒤로 밀었을 가능성이 있지만, 이 설명은 파일럿 진단상의 가설로서 실제 홀드아웃에서의 문항별 graph trace 확인 전까지 확정적 인과원인으로 단정하지 않는다.
4.7 실제 생성실행 및 오류(주 검토: 설지원)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 실제 320회 생성 호출의 완료·오류 기준과 성공답변 수가 맞는지 확인한다.
확인 방법 — 시스템별 80개씩 실행, 총 생성오류 14건/성공 306건의 error stage·latency·token 로그를 TT37 manifest와 TT38 freeze에 대조한다.
수정·승인 판단 — abstention·비생성·생성오류를 구분하고 오류를 0점으로 치환하지 않으면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
| 시스템 | 전체 실행 | 성공 | 생성오류 | 실행성공률 |
|---|---|---|---|---|
| A | 80 | 76 | 4 | 95.00% |
| B | 80 | 78 | 2 | 97.50% |
| C | 80 | 77 | 3 | 96.25% |
| D | 80 | 75 | 5 | 93.75% |
| 합계 | 320 | 306 | 14 | 95.625% |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 시스템별 80회 실행과 오류 14건의 분포를 재확인한다.
확인 방법 — 원시 run_id별 status/error_type과 TT38 306 성공 목록을 교차조인해 A/B/C/D 합계를 320으로 체크한다.
수정·승인 판단 — 생성 실패와 기권을 별도 정의하고 14건을 임의 0점화하지 않으면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT37 생성오류 총 14건의 시스템별 분포가 정확한지 확인한다.
확인 방법 — 각 시스템 run error_code 및 Table 10의 오류 건수를 막대 그림과 대조하고 동일 오류의 이중계수를 확인한다.
수정·승인 판단 — abstention을 생성오류로 혼동하지 않고 분모가 320임을 밝히면 승인.
대조할 근거 — TT37_HOLDOUT_20261015T163337Z 실행 패키지·run ID/manifest 및 80×4 질문-시스템 실행기록
생성 단계 오류는 A 4건, B 2건, C 3건, D 5건으로 총 14건이었다. 연구팀 요약에서는 오류 실행이 출력 토큰 상한 4,000에 도달하거나 약 75.3초 수준으로 지연된 사례와 관련이 있으며, 원시 응답 길이는 159~14,514자 범위로 보고되었다. 이 특성만으로 14건 모두가 동일한 원인이라고 결론내릴 수는 없다. 다만 LLM 응답 JSON 검증, 과도한 컨텍스트·장문출력, 생성 토큰 한도 및 시간초과를 분리해 추적해야 할 필요성을 보여준다.
이 오류들은 RAG 시스템의 법률적 정확성 오류 건수가 아니다. 법적 정확성, 인용적절성, 필수근거 누락 및 환각은 성공한 생성답변을 포함해 전문가 또는 독립된 평가절차로 검증해야 한다. 따라서 실제 생성모듈 실행 320건이 완료되었다는 사실만으로 종단간 법률 정답률이나 환각률이 검증되었다고 주장하지 않는다.
4.8 재현성·통계 및 평가제약(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38에서 확정값·잠정값·공식 미산출을 서로 다른 증거수준으로 분류했는지 확인한다.
확인 방법 — TT38 freeze ID/원자료 해시, TT36/37 지표 정의 차이, Gold matching 미승인 영역을 Table 11과 대조한다.
수정·승인 판단 — N/A는 N/A로 유지하고 모든 수치의 출처·시점·분모가 추적 가능할 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
| 결과 | 자료 수준 | 논문 보고원칙 |
|---|---|---|
| TT36 파일럿 Top-K 검색 | 직접 TU 매핑 진단(20문항) | 파일럿 탐색결과 |
| TT37 Hit@5·MRR@10 | 연구팀 기존 집계 보고 | 잠정 기술통계로만 제한 |
| TT38 답변품질 0–2점 | 혼합평가 306건(사람 확인 206, LLM만 100) | 사후 기술·탐색 분석 |
| TT38 대응검정 | 18개 주 비교, exact sign-flip 및 Holm | 사후 탐색, 비유의는 동등성 아님 |
| 공식 Recall@5·nDCG@5·답변 Version Accuracy | 독립 승인 정답·버전 매핑 부재 | N/A, 0 아님 |
| 생성오류 14건 | 원시 실행 보존 | 법률 오답 점수로 간주하지 않음 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36/TT37/TT38 증거 수준의 선을 정확히 긋는다.
확인 방법 — 표의 잠정·동결·N/A 표기가 TT38 최종보고서의 공식 지표판정과 일치하는지 행마다 검증한다.
수정·승인 판단 — Recall@5/nDCG@5/Version Accuracy를 확정 또는 0점으로 쓰지 않을 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
TT38의 동결 ID는 TT38-FREEZE-20261019-v1이며, Gold·원점수·실험 실행기록을 수정하지 않았다. 답변요건 316개와 원문 증빙 522행이 검토되었으나 검토자는 결과를 이미 본 사후 검토자였고 신규 사람 승인 서명이 없다. 최소 충분근거와 법적 버전 정답을 후향적으로 가공하여 공식평가로 인정하지 않는 것이 이번 연구의 타당도 보호조치다. 73개의 기준일 확정 질문과 7개의 날짜 미정 메타데이터 질문은 별도의 민감도 분석으로 보존하였다.
4.9 보조 시각검증: 파일럿·본실험의 근거검색 구조(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 파일럿 그래프가 실제 TT36 데이터에만 근거하는지와 Holdout 그래프와 차이가 명확한지 검토한다.
확인 방법 — Fig.7–9의 그래프별 분모/축/라벨을 TT36 직접 Gold 추적자료 및 TT38 검증상태 목록과 점검한다.
수정·승인 판단 — TT36 그림은 최동욱 주 검토, TT38 증거수준 설명은 정재훈 교차확인, 공식 N/A 지표를 차트 수치로 그리지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
다음 보조도표는 TT36에서 확인된 검색·시점 진단자료를 제시한다. 이 그림은 TT38 혼합 답변평가와 다른 모집단·평가단위를 가진다. 검색결과의 시점유효성과 법률답변 자체의 시간적 정확성을 혼동하지 않는다.
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 Pilot Micro Recall@5/10/20 계열과 시스템 색·범례가 정확한지 검토한다.
확인 방법 — TT36 JSON의 A/B/C/D 각 K에서 direct_gold_covered/48을 재계산하여 선의 순서·수치와 비교한다.
수정·승인 판단 — 파일럿이고 direct TU 기준이라는 주석이 그림에 있을 때 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 Top-10 청크 4시스템의 valid/expired/future 구성비율을 재검증한다.
확인 방법 — TT36 metrics JSON에서 A/B 각 200, C/D 각 199의 분모를 확인하고 전체 누적 막대가 100%인지 검산한다.
수정·승인 판단 — 청크 시점적합도를 공식 Version Accuracy라고 명명하지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 파일럿·홀드아웃 잠정검색·TT38 혼합평가의 증거수준 도식이 일치하는지 검토한다.
확인 방법 — Table 11의 허용 해석·보류 지표 및 Pilot/Holdout 별도 분모를 도식 상자와 대조한다.
수정·승인 판단 — 공식 N/A 결과를 회색/미산출로 표시하고 확정 성능으로 오인하지 않으면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
4.10 TT38 범위 제한 최종동결 결과(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 최종 동결 결과를 논문 본문의 핵심 분석으로만 간결하게 반영했는지 검토한다.
확인 방법 — TT38-FREEZE-20261019-v1 보고서의 320/306/14, 206+100, 316 요건과 Table 12–14, Fig.10의 일관성을 점검한다.
수정·승인 판단 — 혼합평가와 공식 지표 미산출의 제약이 첫 문단에 나타나고 부록 수준의 내부 작업내역을 본문에 과도하게 늘리지 않으면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
2026년 10월 19일, TT38-FREEZE-20261019-v1로 범위 제한 동결되었다. Hold-out 80문항의 네 시스템에서 320개 답변 생성 실행을 보존하였으며, 306건의 생성 성공답변을 사람 확인 206건 + LLM 단독 평가 100건의 혼합 방식으로 점수화하였다. 생성오류 14건은 점수 0으로 치환하지 않았다. 최종 데이터에는 답변 요건 316개에 대한 사후 판단과 원문 증빙 522행 검토가 포함되지만, 독립 사전 블라인드 Gold 검증이나 신규 사람 최종 승인으로 간주하지 않는다.
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 혼합평가 A/B/C/D 평균 막대가 정확한지 검토한다.
확인 방법 — Answer_score_descriptive_summary.csv 평균 및 Table 12의 0–2 척도를 대조하고 y축 상한/점수방향/표본 표시를 확인한다.
수정·승인 판단 — 306건 혼합평가라는 표제 및 탐색적 해석 경계가 그림에 표시되면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
4.10.1 답변품질: 관측 점수와 공식 미산출 지표(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 혼합 답변품질 점수의 정확성·완전성 및 공식 미산출 지표 처리를 확인한다.
확인 방법 — Answer_score_descriptive_summary.csv의 A/B/C/D 0–2점 평균과 표본수를 Table 12에 대조하고 Recall@5/nDCG@5/답변 Version Accuracy는 N/A로 유지한다.
수정·승인 판단 — 206명 인간 평가로 오인하지 않고 사람 확인 206건과 LLM 단독 100건을 구분하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
| 지표(0–2점 평균) | A | B | C | D |
|---|---|---|---|---|
| 점수 부여된 응답 수 | 76 | 78 | 77 | 75 |
| 답변 정확성 / Correctness | 0.763 | 0.244 | 0.896 | 0.933 |
| 완전성 / Completeness | 0.724 | 0.231 | 0.844 | 0.880 |
| 인용정확성 / Citation accuracy | 0.882 | 0.410 | 0.961 | 0.933 |
| 근거충실성 / Faithfulness | 1.776 | 1.974 | 1.766 | 1.813 |
| 평가점수상 시간정합성 / Temporal accuracy | 1.974 | 1.974 | 1.961 | 1.960 |
| 답변유보 처리 / Unanswerable handling | 1.671 | 1.885 | 1.649 | 1.747 |
| 공식 Recall@5 | N/A — 최소 충분근거·대체근거의 독립 Gold 미확정 | |||
| 공식 nDCG@5 | N/A — 독립 승인된 관련성 등급 미확정 | |||
| 공식 답변 Version Accuracy | N/A — 적용버전 집합·인용역할의 정답판정 미확정 | |||
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 혼합 평가 평균 및 표본수를 검증한다.
확인 방법 — Answer_score_descriptive_summary.csv의 지표별 0–2점 평균/유효 n/누락과 A/B/C/D를 대조하고 206+100=306 문장을 확인한다.
수정·승인 판단 — 사람-only 정확성으로 오인하게 하는 표제·주석이 없을 때 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
4.10.2 A–B–C–D 답변품질 대응비교(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 대응비교 C−B 개선 및 D−C 유의성 여부를 실제 동결 통계로 검증한다.
확인 방법 — paired CSV의 유효 짝·평균차·95% CI·Holm p를 Table 13에 재대조하고 D−C의 비유의를 ‘동등성 증명’으로 해석하지 않는다.
수정·승인 판단 — 사후·탐색적 통계와 실험 본설계의 확증적 결론을 분리하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
Table 13은 시스템 사이에 동일한 질문을 비교할 수 있었던 가용 답변의 사후 탐색적 paired 차이를 보고한다. Holm 보정은 18개 주 비교군에 적용되었다. C−B의 정확성은 +0.640점(95% CI [0.480, 0.813])으로 나타났으나, D−C의 +0.054점은 해당 신뢰구간이 0을 포함했고 보정 p=1.000이었다. 두 시스템의 동등성이 입증된 것은 아니다.
| 대비·지표 | 대응 문항 n | 평균차(0–2점) | 95% CI | Holm p | 해석 |
|---|---|---|---|---|---|
| B−A · 정확성 | 74 | -0.527 | [-0.703, -0.351] | <0.001 | 탐색적 차이 관찰 |
| B−A · 완전성 | 74 | -0.514 | [-0.676, -0.351] | <0.001 | 탐색적 차이 관찰 |
| C−B · 정확성 | 75 | +0.640 | [+0.480, +0.813] | <0.001 | 탐색적 차이 관찰 |
| C−B · 완전성 | 75 | +0.600 | [+0.440, +0.760] | <0.001 | 탐색적 차이 관찰 |
| D−C · 정확성 | 74 | +0.054 | [-0.014, +0.135] | 1.000 | 유의한 차이 확인되지 않음 |
| D−C · 완전성 | 74 | +0.041 | [-0.027, +0.108] | 1.000 | 유의한 차이 확인되지 않음 |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 paired 탐색통계의 부호·짝수·CI·Holm 보정이 맞는지 재검증한다.
확인 방법 — Answer_paired_exploratory_statistics.csv의 비교별 n, mean delta, 95% CI, Holm p, 18개 검정군을 각각 재확인한다.
수정·승인 판단 — C−B 개선·D−C 비유의를 탐색 결과로만 보고하고 동등성 판단을 하지 않으면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
4.10.3 생성오류·검증제약과 대표 사례(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 14개 오류의 원인 및 답변역할/근거상태 분류가 정확한지 확인한다.
확인 방법 — TT38 원본 Error disposition과 Abstention_role_review_143.csv, Substantive_answer_role_review_133.csv, Requirement_adjudication_316.csv의 중복·분모를 대조한다.
수정·승인 판단 — 실패원인을 확인하지 않고 전부 환각이라고 명명하지 않으며 대표사례에 문항·근거·원인·수정 필요조건을 기록하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
| 구분 | 확인 결과 | 해석상 주의 |
|---|---|---|
| 실험·생성결과 | 320회 실행 · 306건 생성 성공 · 14건 생성오류 | 생성실패는 법률적 오답 0점으로 치환하지 않음 |
| 혼합 점수 출처 | 사람 확인 206건 · LLM 단독 100건 | 전체가 사람 블라인드 평가를 받은 것이 아님 |
| 근거·요건 검토 | 답변 요건 316개 · 원문 증빙 522행 | 결과노출 사후 검토이며 독립 정답 Gold 아님 |
| 답변역할 분류 | 실질 답변 133건 · 유보답변 143건 | 별도 미래규정 배제 4건·날짜 미정 메타데이터 답변 26건 |
| 복수 적용버전 | 133개 실질 답변 중 64개는 2~3개 버전 적용 | 단일 버전 ID 일치만으로 Version Accuracy 산출 불가 |
| 특정 법령문맥 오류위험 | Q021: 예외 도입문구 ‘단,’과 계속 절이 별도 TU로 분리 | 청크 경계에서 예외 조건의 일부가 누락될 위험 |
| 공식 검색·버전 지표 | N/A (NOT ZERO) | Recall@5·nDCG@5·답변 Version Accuracy |
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 최종 동결된 수량·미검증 영역·거절유형이 맞는지 확인한다.
확인 방법 — TT38 최종보고서와 Requirement_adjudication_316.csv·Reviewed_evidence_groups.csv·Substantive/Abstention role CSV를 대조해 단위·중복을 확인한다.
수정·승인 판단 — 320/306/14/206/100/316 등 서로 다른 분모가 모두 설명되면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
결과의 핵심 해석. 혼합평가의 답변 정확성·완전성은 C가 B보다 높았으며 D가 C보다 추가적인 개선을 보였다고 확정할 근거는 부족하다. 검색 지표는 TT37 기존 집계와 TT36 파일럿 진단으로 구별해 제시했고, 법적 필수근거 충족과 버전 정답성이 평가상 미확정인 지표는 N/A로 보고하였다. 이러한 제한은 TT38의 실패가 아니라 검증되지 않은 성능을 수치로 확정하지 않기 위한 연구상 경계다.
Ⅴ. 논의 및 시사점
5.1 왜 시간 필터가 가장 큰 실질적 개선을 가져왔는가(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 시간필터 효익의 결론이 직접 관측 결과 범위에만 해당하는지 검토한다.
확인 방법 — B의 시간유효 Top-K 저하, TT38 C−B 혼합 정확성 차이와 연구범위를 함께 읽고 통계 유의성을 사후분석이라고 적는다.
수정·승인 판단 — 법률상 효력일이 실무 적용의 핵심이라는 해석은 유지하되 모든 질문에서 C가 우수하다고 일반화하지 않으면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
TT36 파일럿에서 전 버전 무필터 검색(B)의 상위 반환문서에는 만료·미시행 버전이 다수 포함되었으며, TT37의 잠정 Hit@5·MRR@10 집계 또한 B에서 낮고 C에서 높게 나타났다. TT38의 혼합 답변 정확성 대응검정에서도 C−B의 차이는 +0.640점(95% CI [0.480, 0.813], Holm 보정 p<0.001)이었다. 이는 해당 실행구성에서 시간필터 적용의 실용적 이점을 시사한다. 그러나 사후의 혼합평가에 근거하므로 시간필터가 독립적으로 법률답변 정확성을 인과적으로 높였다고까지 단정해서는 안 된다.
또한 TT38이 공식 Recall@5, nDCG@5, 답변 Version Accuracy를 N/A로 동결한 점은 중요하다. 시간효력에 부합하는 검색문서가 제시되었다는 사실은 질문별 최소 충분 법적 근거가 갖춰졌거나 최종 답변이 법적으로 올바른 버전을 적용했다는 증거가 아니다. 특히 공포·시행 시차와 예외·부칙을 함께 확인하는 후속 검증이 필요하다.
5.2 SAT-Graph의 이론적 장점과 현 구현의 실증결과(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 그래프 D의 추가효과가 검증되지 않았다는 결론과 SAT-Graph 일반론을 구분한다.
확인 방법 — TT36 fallback/순위악화, TT38 D−C 평균차/CI/유의성 및 관계 coverage를 비교하여 구현 한계 vs 접근법 한계를 나눠 쓴다.
수정·승인 판단 — 유의하지 않음 ≠ 같음/열등함을 명시하고 후속 재랭킹·fallback 개선을 시사점에 연결하면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
SAT-Graph는 법령의 위계, 버전 계보 및 명시적 연결관계를 검색에 투입할 수 있다는 장점이 있다. 그러나 TT36의 파일럿에서 D는 그래프 우선 병합, 빈 그래프 범위 및 fallback 등으로 상위 검색순위가 악화되는 사례가 있었다. TT37의 기존 잠정 검색 집계에서도 D가 C보다 우월하지 않았다. 답변품질에 대한 TT38의 탐색적 대응검정 결과는 D−C 정확성 +0.054점(95% CI [−0.014, 0.135], Holm p=1.000)으로 통계적으로 명확한 추가개선을 확인하지 못하였다.
이는 D가 C와 동등하다는 뜻도, 모든 SAT-Graph 방법이 무용하다는 뜻도 아니다. 유효한 C 검색 seed를 보존하는 fallback, 구조 연결관계의 정확도, 다중근거의 목적별 우선순위 및 검색후보의 재순위화가 실제 성능을 좌우할 수 있다. 이들 수정 효과는 별도 사전정의된 후속 실험에서 검증해야 하며 TT38 동결결과를 사후 대체해서는 안 된다.
5.3 연구방법론적 기여(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 버전/구조 효과의 분리, 평가 지표 게이트, 해시 추적이 새로운 기여로 정리됐는지 확인한다.
확인 방법 — RQ별 결과와 TT36/37/38의 증거수준을 연결하여 무엇이 실측이고 무엇이 설계기여인지 문장을 구분한다.
수정·승인 판단 — 새 알고리즘 발명·불가 지표 산출을 주장하지 않으면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
첫째, A–B–C–D의 비교에서 전 버전 검색, 시간필터, 그래프 확장의 단계를 분리하였다. 둘째, 파일럿 검색의 시점유효 청크와 법률답변의 적용버전 정확성이 다름을 명확히 하고, Gold 분모 검증이 불충분한 Recall@5·nDCG@5·답변 Version Accuracy를 0점으로 처리하지 않고 N/A로 보존하였다. 셋째, 생성실패 14건을 내용평가에서 분리하고 혼합점수의 출처(사람 확인 206건, LLM 단독 100건)를 공개하였다. 넷째, 316개 답변요건·522행의 사후 증빙검토, 해시기반 동결, 날짜 미정 7문항의 민감도분석을 통해 평가의 재현성과 한계 추적성을 동시에 강화하였다.
5.4 항공 규제기술(RegTech)에 대한 실무적 시사점(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 현장 적용 제안이 연구의 관측 한계와 법령 책임체계에 부합하는지 검토한다.
확인 방법 — 공포/시행일 조회, 원문 링크, 복수근거 완전성, 검토자 확인, 안전중요 의사결정의 인간 책임을 각 한 문장씩 확인한다.
수정·승인 판단 — 연구시스템을 곧바로 법적 의사결정 승인시스템으로 단정하지 않으면 승인.
대조할 근거 — 국가법령정보센터의 해당 조문·시행일·부칙 및 고정익 운항기술기준 원문; DuckDB source_id/provenance
항공사의 운항규정 준수 검토, 인허가 사전검증 및 개정법령 영향분석 도구를 개발할 때는 최신 문서만 표시하는 기능보다 질의의 기준일, 공포/시행/경과조치와 근거원문을 함께 제시하는 기능이 우선 필요하다. 복합질문은 필수요건의 전부가 회수되었는지 표시하고, 누락된 근거를 임의로 채우지 않으며, 적용불명확성에 대해 적절하게 답변을 유보해야 한다. 그래프는 이 기본 검증을 대체하는 층이 아니라 상·하위법령 관계와 개정 전후 설명을 보강하는 검증 가능한 확장층으로 설계하는 것이 타당하다.
5.5 연구의 제한사항(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 단일 도메인·80문항·단일전문가 Gold 검토·평가혼합·미산출 지표·시스템 구현 의존성의 한계를 빠짐없이 확인한다.
확인 방법 — TT33/35/36/38 동결 내역에서 표본 설계와 평가 절차를 대조하고 빠진 위협(선택편의·노출편의·reranker·그래프 coverage)을 찾는다.
수정·승인 판단 — 제약이 실제 결과와 대응되며 원고의 확정적 표현을 약화할 필요가 있으면 수정 후 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
첫째, 국내 고정익 항공운송사업자 운항승무원 규정에 한정된 결과를 회전익·정비·타국 법체계에 일반화하기 어렵다. 둘째, 질문 80개를 선정할 당시의 전문가 타당성 검토는 1인 및 연구책임자 판정 방식이었으며, TT38의 사후 316개 요건 검토는 결과를 확인한 상태에서 수행되어 독립 사전 블라인드 Gold 검증에 해당하지 않는다.
셋째, 답변 306건의 점수 출처는 사람 확인 206건과 LLM 단독 100건으로 혼합되어 있으며, 14건의 생성실패는 점수화하지 않았다. 사람 확인 표본 선택은 무작위가 아니므로 시스템 간 차이에 선택편의가 있을 수 있다. 넷째, 정답근거의 최소 충분성·대체가능성·관련성 등급이 미승인이고 64개의 복수버전 적용 답변에서 역할별 정답판정이 확보되지 않아 공식 Recall@5, nDCG@5 및 답변 Version Accuracy를 산출하지 못했다. 따라서 TT37의 기존 잠정 검색집계와 TT38의 답변품질 결과를 서로 다른 검증수준으로 보존하였다.
다섯째, Q021에서 예외 계속 문구가 별도 Text Unit으로 분리된 사례는 청킹에 따른 법령 조건 손실 가능성을 나타낸다. 여섯째, 날짜 미정 7개 메타데이터 문항은 별도 민감도분석 대상이다. 마지막으로 생성 지연시간은 전체 파이프라인 지연시간이 아니고 비용자료는 결측이다. 모든 사후 탐색통계는 확증적 유의성 주장이나 비유의의 동등성 해석에서 제외해야 한다.
Ⅵ. 결론(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 핵심 정량 결과와 연구문제별 결론·실무적 시사점을 과장 없이 종합한다.
확인 방법 — Abstract, Table 9, Table 12–14, Fig.10, 5.5의 문장을 순서대로 대조해 수치·통계·표본수가 일치하는지 확인한다.
수정·승인 판단 — TT36 파일럿·TT37 잠정검색·TT38 사후 혼합평가의 서로 다른 증거수준을 결론에서도 구분하면 승인.
대조할 근거 — 논문 초록·연구문제·방법·결과·논의·결론 간 상호 대조; TT39/TT40 작업카드
본 연구는 대한민국 항공안전법령의 계층적·시간적 특성이 검색증강생성 시스템의 성능에 미치는 영향을 A–B–C–D 네 시스템의 단계별 비교로 평가하였다. 99개 원천파일에서 구조화 법령데이터와 15,654개 검색 청크를 구축하고, 파일럿 20문항과 독립 홀드아웃 80문항을 분리하여 320개의 질문–시스템 실행을 확보하였다. TT38은 2026년 10월 19일 TT38-FREEZE-20261019-v1로 범위 제한 동결되었다.
혼합 평가가 가능한 306개 생성답변의 정확성 평균(0–2점)은 A 0.763, B 0.244, C 0.896, D 0.933이었다. 사후 탐색적 대응검정에서 B−A는 −0.527점, C−B는 +0.640점으로 뚜렷한 차이를 보였지만, D−C의 +0.054점(95% CI [−0.014, 0.135], Holm p=1.000)은 구조 확장에 따른 명확한 추가 개선을 보여주지 못했다. 이 결과는 현 구현 조건에서 시간필터의 실무적 가치를 지지하는 정황자료이나, 사람 확인 206건과 LLM 단독평가 100건이 혼합된 사후 평가라는 제약이 있다.
무엇보다 답변요건과 인용출처의 검토만으로 최소 충분 법률근거 및 적용버전 정답을 독립적으로 확정할 수 없었다. 따라서 공식 Recall@5, nDCG@5, 답변 Version Accuracy는 N/A(0이 아님)로 동결하였다. 향후 연구에서는 사전에 승인한 근거집합·대체관계·인용역할과 다수 전문가 독립판정을 마련하고, 사전등록된 시스템 비교 및 생성오류를 포함한 민감도분석을 통해 종단간 법률적 신뢰성을 재검증해야 한다. 그 전까지 이 논문의 결론은 혼합 답변평가와 파일럿·잠정 검색 진단의 관찰범위로 제한한다.
참고문헌(주 검토: 손상우)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 본문 인용이 실제 문헌 및 DOI와 1:1 일치하고 항공법령 RAG 연구공백 설명을 정확하게 뒷받침하는지 확인한다.
확인 방법 — TT41 대조표로 미인용/누락 0건, URL 404 여부, 저자/제목/연도/학술지·arXiv 구분 및 출판상태를 하나씩 검토한다.
수정·승인 판단 — 검증되지 않은 논문제목·성과 수치를 제거하고 학회 규정대로 편집하면 승인.
대조할 근거 — 문헌 원문 DOI·출판연도·서지와 Research_Master 인용-참고문헌 대응표 / TT41 출판계획
- [1] Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. https://arxiv.org/abs/2005.11401
- [2] Edge, D., et al. (2024). From Local to Global: A Graph RAG Approach to Query-Focused Summarization. arXiv:2404.16130. https://arxiv.org/abs/2404.16130
- [3] Huwiler, D., Stockinger, K., & Fürst, J. (2025). VersionRAG: Version-Aware Retrieval-Augmented Generation for Evolving Documents. arXiv:2510.08109. https://arxiv.org/abs/2510.08109
- [4] de Martim, H. (2025). An Ontology-Driven Graph RAG for Legal Norms: A Hierarchical, Temporal, and Deterministic Approach. Legal Knowledge and Information Systems. https://doi.org/10.3233/FAIA251598
- [5] Guha, N., et al. (2023). LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models. NeurIPS. https://arxiv.org/abs/2308.11462
- [6] Aviation_LAW_RAG 연구팀. (2026). 구조·시간·인식 그래프 RAG를 활용한 대한민국 항공안전법령 질의응답 신뢰성 검증 연구, 원고 V0.5. Google Drive 연구원고.
- [7] Aviation_LAW_RAG 연구팀. (2026.10.14). TT36 Pilot 20문항 A/B/C/D 검색 결과 정밀 검토 및 동명 JSON 정량자료. 보고서 · 지표 JSON.
- [8] Aviation_LAW_RAG 연구팀. (2026.10.14). TT36 기술동결 확정증빙 및 TT37 인계기록. Google Drive 동결·인계기록.
- [9] Aviation_LAW_RAG 연구팀. (2026.10.14). TT37 Holdout80 Execution RQ Freeze Handover. Google Drive 실행프로토콜.
- [10] Aviation_LAW_RAG 연구팀. (2026.10.16 공유). TT37 Hold-out 80 final execution summary. 연구진 공유 보고 자료(별도 원시 Parquet, 2026.10.15 동결 스냅샷 Drive 동일본 미확인).
- [11] Aviation_LAW_RAG 연구팀. (2026.10.11). TT33 전체 Gold 검증 보고서. Google Drive 검증 보고서.
- [12] Aviation_LAW_RAG 연구팀. (2026). TT38 최종 점수·통계·오류분석: 업무 지침 및 산출물 사양. Google Drive TT38 작업카드.
부록. 데이터 출처 및 재현성 확인
A. 자료추적 및 동결정보(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — 논문의 핵심 수치·freeze ID와 원자료까지 경로를 재현할 수 있는지 확인한다.
확인 방법 — Raw corpus→Gold→TT36 freeze→TT37 run→TT38 freeze의 manifest 경로·SHA-256·출처파일 이름을 대조한다.
수정·승인 판단 — 동일 산출물 식별이 가능하고 미검증 경로는 명시했을 때 승인.
대조할 근거 — Google Drive → TT01·TT36 작업카드, TT36 기술동결 확정증빙, Research_Master의 Protocol/Freeze 기록
TT38_Final_Freeze_20261019.zip (패키지 내 SHA256SUMS.json의 모든 멤버 검증 PASS). 공식 보고서 TT38_최종동결보고서_20261019.md; 논문반영 문구 TT38_논문반영_동결요약_20261019.md; Answer_score_descriptive_summary.csv, Answer_paired_exploratory_statistics.csv, Final_freeze_verification.json. Freeze ID TT38-FREEZE-20261019-v1. 관리정본 기록: TT38 최종동결보고서 (Drive). 공식 Recall@5·nDCG@5·답변 Version Accuracy=N/A이며 후속 수치는 별도 버전으로 승인해야 한다.Pilot archive SHA-256:
777d15a6ee861098238d8134a9559a349f914a12c74c1516f6af2acfe5bbc968TT36 Freeze:
TT36_AS_RUN_20261014T140304ZTT36 manifest SHA-256:
bd4ff145b5b5cc4f9518200d2969ac2134cb904c913434ce41c53634b2395d8dTT37 Freeze(연구팀 보고):
TT37_HOLDOUT_20261015T163337ZDrive Experiment_Run_Master.parquet: 보관본(2026.09.20 수정); 2026.10.15 본실험 최종본 대체 불가.
기술적 우선 재검증: Gold TU↔chunk↔DOCV Crosswalk, 질문별 as-of, System D graph trace, 동일 지표 스코어러, TT37 raw run 및 error code.
B. 파일럿과 본실험 지표 비교의 제한(주 검토: 최동욱)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT36 직접 TU Micro/Macro 수치를 확정값과 혼동하지 않고 별도 부록으로 유지했는지 확인한다.
확인 방법 — Gold 48개와 20문항 각각을 분모로 재계산해 A/B/C/D 숫자를 검토하고 사후 crosswalk은 정식 Gold 승인으로 취급하지 않는다.
수정·승인 판단 — 최동욱 TT36 수행기록과 수치가 일치하고 본실험 통계에 혼합하지 않으면 승인.
대조할 근거 — TT36_Pilot_ABCD_Review_20261014.md 및 TT36_Pilot_ABCD_Review_Metrics_20261014.json; TT36 as-run 동결증빙
TT36 파일럿 JSON의 직접 Gold TU Macro Recall@10은 A 51.7%, B 15.8%, C 54.6%, D 47.6%이며, Micro Recall@10은 A 52.1%, B 12.5%, C 56.3%, D 47.9%이다. 이는 파일럿 20문항의 직접 TU 검색실험 결과다. TT37의 기존 요약보고에서 제시된 홀드아웃 Macro Recall@10과 Pilot의 수치를 서로 비교해서 성능 변화로 주장할 수 없다. TT38의 공식 Recall@5와 nDCG@5는 미승인 Gold 분모 때문에 N/A로 동결되었다.
C. 확정통계로의 전환을 위한 재현성 규칙(주 검토: 정재훈)
이 부분 검토 방법무엇을 · 어떻게 · 수정·승인 기준
검토할 내용 — TT38 N/A 검색·버전 지표를 다시 확정하려면 무엇이 필요한지 재현 가능한 조건으로 기술했는지 확인한다.
확인 방법 — 214 근거행/338 원자근거, 316 요건, 522 출처행의 역할·적용시점·대체근거 매핑의 독립 판정요건을 확인한다.
수정·승인 판단 — 공식 값이 없는 채로 Recall@5·nDCG@5·Version Accuracy를 임의 계산하거나 0으로 대체하지 않으면 승인.
대조할 근거 — TT38_Final_Freeze_20261019.zip / TT38_최종동결보고서_20261019.md / 동결 통계·CSV 자료
TT38 동결본은 원래 Gold·원 점수·실행 결과를 변경하지 않았다. 답변요건 316개와 원문 522행은 사후에 검토했으나, 최소 충분근거·대체근거·관련성 등급의 독립 사전검증과 복수 적용버전의 역할별 정답이 미확정이다. 공식 Recall@5·nDCG@5·답변 Version Accuracy는 N/A이며 0점으로 보완할 수 없다. 향후 독립 인력에 의한 정답 승인 또는 별도 평가조건 변경이 이루어질 때에는 동결 ID를 새로 발급하고 기존 TT38-FREEZE-20261019-v1을 덮어쓰지 않는다. 검증된 18개 주요 비교와 36개 부속 비교는 모두 사후 탐색 분석으로 보고한다.
원고 개정일: 2026년 10월 19일 · TT38 범위 제한 최종동결의 혼합평가 결과 반영 · 모든 표·그림은 파일 내부에 포함