아카이브 계층과 HSM, 아카이브 워크플로우

#아카이브와 백업은 다르다

구분	백업	아카이브
목적	장애 시 복구	장기 보관과 재사용
대상	현재 운영 중인 데이터	더 이상 자주 쓰지 않지만 보존할 데이터
보관 기간	수 일 ~ 수 개월(교체됨)	수년 ~ 영구
원본	원본은 그대로 운영	원본을 온라인에서 지우고 아카이브로 이동하기도 함
검색	거의 필요 없음	반드시 필요(찾을 수 있어야 쓸 수 있음)
핵심 요구	빠른 복구	무결성, 검색성, 접근성

아카이브가 찾을 수 없는 상태로 쌓여 있다면 사실상 버려진 것과 같습니다. 그래서 아카이브는 MAM의 메타데이터·프록시와 항상 함께 움직입니다. 원본이 테이프로 이동해도 메타데이터와 프록시는 온라인에 남아 검색·미리보기가 가능해야 합니다.

#왜 장기 보관이 어려운가

파일은 복제해도 품질이 열화하지 않으니 영원할 것 같지만, 그렇지 않은 이유가 있습니다.

비용: 대용량 데이터를 디스크에 계속 올려 두면 구입비·전력·냉각·교체 비용이 계속 듭니다. 수백 TB~PB 규모에서는 큰 부담입니다.
장애: RAID는 디스크 고장은 막지만 컨트롤러 장애, 오조작, 소프트웨어 오류로 전체 데이터가 한꺼번에 손실될 수 있습니다.
조용한 손상: 저장 중에 비트가 바뀌는 비트 부패(bit rot)는 눈에 띄지 않다가 어느 날 발견됩니다(5편 실험).
포맷 노후화: 20년 뒤에 이 코덱을 읽는 소프트웨어가 있을까?
미디어 수명: 테이프, 광디스크 모두 수명과 호환 세대가 있습니다. 장비가 단종되면 미디어를 읽을 수 없습니다.

#저장 계층과 HSM

앞 장 스토리지 설계에서 본 것처럼 데이터를 접근 속도와 비용에 따라 계층으로 나눕니다. 이 계층 사이의 이동을 자동으로 관리하는 기술이 HSM(Hierarchical Storage Management, 계층형 스토리지 관리) 입니다.

계층	매체	접근 시간	단가
온라인	SSD, 고성능 디스크	즉시	높음
니어라인	대용량 디스크, 오브젝트 스토리지	수 초	중간
오프라인	LTO 테이프, 광디스크, 클라우드 아카이브	수 분~수 시간	낮음

HSM의 핵심 개념은 빠른 디스크를 느린 대용량 저장소의 캐시처럼 쓰는 것입니다. 대부분의 데이터는 느리고 저렴한 매체에 두고, 필요할 때 빠른 디스크로 가져와 씁니다. 방송 아카이브에서의 HSM은 보통 빠른 RAID 스토리지와 테이프 라이브러리 사이에서 데이터를 옮겨 주는 서비스를 가리킵니다.

#아카이브 워크플로우

MAM이 아카이브 솔루션(HSM)에 일을 맡기는 일반적 흐름입니다.

[아카이브]
 사용자/정책 → MAM이 아카이브 솔루션에 API로 요청
 → 솔루션이 파일을 읽어 니어라인에 저장
 → 니어라인 저장 완료 시점에 MAM에 "아카이브 완료" 통지
 → 이후 솔루션이 비동기로 테이프에 복본 2개를 기록
 → MAM은 원본 파일의 온라인 복사본을 정책에 따라 삭제 (메타데이터·프록시는 유지)

[복원]
 사용자가 복원 요청 → MAM이 소재 ID로 솔루션에 복원 요청
 → 니어라인에 있으면 즉시 복사, 테이프에만 있으면 테이프 로드 후 읽기
 → 지정한 위치(온라인 스토리지)로 전송 → MAM이 완료 통지

여기서 설계상 중요한 점이 있습니다.

#1) "아카이브 완료"의 정의

아카이브 솔루션이 어느 시점을 완료로 통지하는가는 제품과 설정에 따라 다릅니다. 예를 들어 "니어라인 저장 완료"를 완료로 보는 경우 그 시점에는 테이프에 아직 쓰이지 않았습니다. 이때 온라인 원본을 지우면 테이프 기록이 끝나기 전까지 사본이 하나뿐이라 위험합니다.

#2) 복본(Copy)

테이프 한 개에 문제가 생기면 그 데이터를 잃을 수 있으므로 서로 다른 테이프 2개 이상에 기록하는 것이 일반적입니다. LTO 세대가 올라가며 오류율은 줄었지만 복본 정책은 여전히 유지하는 경우가 많습니다. 더 안전하게는 한 복본을 물리적으로 다른 장소에 보관합니다(화재·침수 대비).

#3) 비동기 처리

테이프 로드, 위치 찾기, 기록은 분 단위가 걸립니다. 아카이브/복원 요청은 반드시 비동기 작업으로 설계하고, 사용자에게는 "요청됨 → 진행 중 → 완료/실패" 상태와 예상 시간을 보여 줍니다(앞 장의 작업 큐 설계).

#4) 아카이브에 포함되는 것

영상 파일만이 아닙니다. 편집 프로젝트처럼 여러 파일이 서로 연결된 데이터는 연결된 파일과 디렉터리 구조까지 함께 보관해야 나중에 복원해서 쓸 수 있습니다. 어떤 단위(소재, 프로젝트, 폴더)로 아카이브하는지, 복원할 때 원래 경로로 되돌리는지 새 위치로 보내는지를 정해야 합니다.

#소프트웨어 제품 유형

아카이브 솔루션은 구조와 인터페이스에 따라 대략 다음처럼 나뉩니다.

유형	특징
전용 HSM/아카이브 소프트웨어	별도의 서비스(Actor 역할)가 파일 이동을 대행하고, MAM은 API로 요청
파일 시스템 기반	아카이브 계층이 파일 시스템처럼 보이며, 정책에 따라 파일이 자동 이동(스텁 파일 방식 등)
LTFS 직접 사용	테이프를 파일 시스템으로 마운트해 사용(다음 글)
S3 호환 오브젝트 인터페이스	MAM이 S3 API로 직접 데이터를 넣고 정책으로 아래 계층으로 이동(클라우드 편)

제품 선택에서 중요한 기준은 구간 복원 지원 포맷, 복본·검증 기능, API, 장기 지원입니다. 특히 구간 복원은 지원하는 코덱·컨테이너가 제품마다 다르므로 RFP에 "구간 추출 지원"이라고만 쓰지 말고 필요한 포맷과 코덱 이름을 명시해야 합니다(3편에서 설명).

#정리

아카이브는 백업과 달리 장기 보관과 재사용(검색 가능성) 이 목적입니다.
HSM은 계층 사이 이동을 자동화하고, MAM은 메타데이터·프록시를 온라인에 남겨 검색을 유지합니다.
"아카이브 완료"의 정의와 원본 삭제 조건, 복본 수, 비동기 처리, 복원 단위를 명확히 정해야 합니다.