본 프로젝트는 음악을 구성하는 6가지 Stem파일인 Main Riff, EGTR, Bass, Pad, Drums, Strings를 개별적으로 분리하여, 각 오디오 신호를 시각적 변수로 변환한 Audio Reactive 작업입니다. 오디오의 볼륨 변화를 단순한 크기 변화로 치환하는 방식을 지양하고, 각 악기의 신호가 화면 내 픽셀의 좌표를 이동시키거나 섞는 물리적 연산의 값으로 작용하도록 설계했습니다. 이를 통해 청각 데이터가 시각 데이터의 움직임을 직접 제어하는 시스템을 구축했습니다. 데이터 처리는 터치디자이너의 CHOP Operators 단계에서 수행했습니다. 각 Stem 파일의 오디오 파형은 Audio Spectrum을 통해 주파수 대역별로 분석한 후, Analyze(RMS Power)와 Filter를 거쳐 단일 수치로 변환됩니다. Drums와 EGTR 같은 때리는 음은 수치 변화폭을 즉각적으로 반영하여 화면 왜곡의 강도를 조절하는 트리거로 사용되며, Pad와 Bass 같은 지속음은 화면 전체의 좌표를 지속적으로 이동시키는 기저 데이터로 맵핑했습니다. 시각화의 핵심 구조는 TOP Operator 단계의 ’Feedback Loop‘ 시스템입니다. Feedback TOP과 Displace TOP을 순환 구조로 연결하여 현재 프레임의 이미지가 다음 프레임에 누적되도록 설정함으로써, 픽셀이 이동 궤적을 남기는 효과를 구현했습니다. CHOP에서 추출한 오디오 데이터는 Displace Weight 파라미터에 연결되어, 소리의 크기에 따라 픽셀이 밀려나는 거리를 실시간으로 제어하며 유체의 흐름을 생성합니다. 질감의 경우, 음영 질감 표현을 위해 Slope TOP을 사용했습니다. 유동하는 이미지의 밝기 변화량을 계산하여 음영 정보를 생성하고, 이를 원본 이미지와 Hard Light 모드로 합성함으로써 평면적인 그래픽에 굴곡과 높낮이 정보를 추가했습니다. 이 과정에서 발생하는 색상 간섭을 방지하기 위해 쉐이딩 연산 단계에서는 이미지를 흑백으로 변환하여 형태와 명암 정보만을 처리하도록 구조화했습니다. 최종적인 색상은 «활공» 아트워크의 컬러 데이터를 Lookup TOP을 통해 매핑하여 구현했습니다. 흑백으로 시뮬레이션 된 유체 영상의 명도 단계에 따라 지정된 컬러 램프가 대입되는 방식입니다. 이를 통해 피드백 루프에 의한 복잡한 움직임 속에서도 원본 아트워크의 색상 정보가 왜곡 없이 출력되도록 설계했습니다.