8장. 영상 AI 기술 실무
영상에서 메타데이터를 뽑는 AI 기술을 입력 준비, 음성 인식, 화면 문자·장면 인식, 임베딩 검색, LLM 정리, 평가와 검수까지 실제 실행 결과와 함께 설명합니다.
6장에서는 AI 메타데이터를 MAM에 연결하는 큰 그림을 보았습니다. 이 장은 그 그림을 실제로 돌려 보면서 채웁니다. 모델을 소개하는 글이 아니라, 모델 앞뒤에서 사람이 해야 하는 일을 다룹니다.
- 모델에 넣을 오디오와 프레임을 만드는 방법, 그리고 결과를 시간에 붙여 저장하는 방법
- 음성 인식(STT): 긴 오디오를 나누는 법, 자막 형식으로 바꾸는 법, 정확도를 재는 법
- 화면 속 글자와 장면: 프레임 샘플링, 중복 제거, 비전 모델에 직접 물어본 결과
- 임베딩과 의미 검색: 검색 단위를 만드는 법, 키워드 검색과 순위를 합치는 법
- LLM으로 메타데이터를 정리할 때의 구조화 출력과 근거 검증
- 결과를 평가하고 사람 검수와 연결하는 설계
- 8.1AI에 넣기 전 준비 - 오디오·프레임 추출과 시간 모델음성·화면 분석에 맞는 입력을 FFmpeg로 만들고, AI 결과를 밀리초 정수 구간으로 저장해 타임코드와 프레임으로 오차 없이 오가는 방법을 코드와 측정값으로 설명합니다.
- 8.2음성 인식(STT) 파이프라인 - 오디오 분할, 자막 변환, 정확도 측정긴 오디오를 무음 지점에서 나누는 청크 계획, 청크 결과를 파일 시간으로 되돌려 SRT로 만드는 변환, 띄어쓰기 영향이 큰 한국어에서 CER을 함께 보는 이유를 실행 결과와 함께 설명합니다.
- 8.3화면 속 글자와 장면 인식 - 프레임 샘플링, 중복 제거, 비전 모델 실험프레임을 줄이는 지각 해시 중복 제거, 로컬 비전 모델에 합성 프레임 4장을 읽혀 얻은 글자 인식 오차율과 장면 설명 오류, 프레임별 결과를 시간 구간으로 합치는 방법을 설명합니다.
- 8.4임베딩과 의미 검색 - 검색 단위, 벡터 검색, 키워드와의 순위 결합대본을 시간 창으로 나눠 검색 단위를 만들고, 문자 n-gram 벡터로 벡터 검색의 원리와 한계를 실험하고, 키워드 검색과 순위 결합(RRF)하는 방법, 벡터 저장 크기와 검색 시간을 측정해 설명합니다.
- 8.5LLM으로 메타데이터 정리하기 - 구조화 출력과 근거 검증음성 인식 대본에서 제목·요약·키워드·인물을 JSON으로 뽑는 프롬프트와 스키마, 로컬 27B 모델 실행 결과(소요 시간 포함), 시각 형식 위반 8건을 잡아낸 검증 코드를 설명합니다.
- 8.6AI 결과 평가와 사람 검수 설계 - 정답 세트, 지표, 임계값, 표본 검수정답 세트를 만들고 작업별 지표(CER, 정밀도·재현율)로 결과를 재는 방법, 신뢰도 임계값을 정답과 비교해 정하는 코드, 표본 검수 크기 계산, 검수 큐 설계와 품질 감시를 실행 결과와 함께 설명합니다.