▲ 서울대학교 전기정보공학부 이현수 학생 [출처=서울대학교 공과대학]서울대(총장 유홍림)에 따르면 공과대 전기정보공학부 이현수 학부생이 이미지 편집부터 3차원(3D) 콘텐츠 생성에 이르는 생성형 비주얼 컴퓨팅(Generative Visual Computing) 연구 성과를 NeurIPS, CVPR, ECCV 등 인공지능(AI) 및 컴퓨터 비전 분야의 주요 국제학술대회에 발표했다.이들 학술대회는 엄격한 심사와 낮은 논문 채택률로 잘 알려져 있어 학부생이 연구 성과를 잇달아 발표한 것은 더욱 주목할 만하다.생성형 비주얼 컴퓨팅은 AI가 현실 세계의 시각 정보를 이해하는 데 그치지 않고 사용자가 제시한 텍스트·이미지·부분적인 관측 결과를 바탕으로 새로운 시각 콘텐츠를 생성하도록 하는 연구 분야다.최근 디퓨전 모델을 비롯한 생성형 AI 기술이 빠르게 발전하고 있지만 생성 결과를 사용자의 의도에 맞게 정교하게 제어하고 여러 결과 사이의 구조적 일관성을 유지하는 문제는 여전히 중요한 문제로 남아 있다.이현수 학생은 이미 학습된 생성 모델의 사전 지식을 활용해 별도의 대규모 재학습 없이 사용자의 의도와 관측 정보에 부합하는 결과를 생성하고 여러 생성 결과 사이의 일관성을 유지하는 방법을 연구해왔다. 연구 범위는 텍스트 기반 이미지 편집과 고해상도 이미지 편집, 디퓨전 동기화, 3D 콘텐츠 생성에 이른다.연구의 출발점은 텍스트 조건을 이용한 이미지 편집이었다. 이현수 학생이 공동 제1저자로 참여한 논문 ‘Conditional Score Guidance for Text-Driven Image-to-Image Translation’은 원본 이미지의 구조를 유지하면서 사용자가 텍스트로 지정한 영역을 자연스럽게 변경하는 조건부 점수 유도 방법을 제안했다.이 논문은 AI 분야 최고 권위 학술대회인 NeurIPS 2023에 채택됐다. 해당 연구는 고해상도 이미지 편집으로도 확장됐다.CVPR 2026에 채택된 ‘Low-Resolution Editing is All You Need for High-Resolution Editing’은 저해상도에서 얻은 편집 결과를 의미적 기준으로 활용하고 동기화된 패치 최적화를 통해 원본의 세밀한 정보를 고해상도 결과로 전달하는 기술을 제안했다.이를 통해 기존 생성 모델이 처리하기 어려웠던 1K 이상의 고해상도 이미지에서도 전체적인 의미와 세부 묘사를 함께 유지하며 편집할 수 있는 가능성을 제시했다.이현수 학생은 하나의 결과를 생성하는 문제를 넘어 여러 생성 결과가 서로 일관된 구조를 갖도록 만드는 ‘디퓨전 동기화’의 원리도 연구했다.CVPR 2025에 발표된 ‘SyncSDE: A Probabilistic Framework for Diffusion Synchronization’은 여러 디퓨전 생성 과정 사이에 상관관계를 도입해야 하는 지점을 확률론적으로 규명하고 이미지·인간 움직임·3D 콘텐츠에 걸친 협업 생성을 하나의 체계로 설명했다.이 연구는 개별 결과를 독립적으로 만드는 기존 방식에서 벗어나 서로 연관된 여러 콘텐츠를 일관되게 생성하기 위한 이론적 기반을 제시했다.ECCV 2026에 채택된 ‘Accelerated Likelihood Maximization for Diffusion-based Versatile Content Generation’에서는 관측되지 않은 영역을 생성 과정에서 효율적으로 최적화해 하나의 방법으로 3D 모델 텍스처 생성과 인간 움직임 완성 등 서로 다른 문제를 처리할 수 있도록 했다.이는 문제마다 별도의 모델을 새로 학습해야 했던 기존 접근의 부담을 줄이고, 생성 모델을 다양한 시각 콘텐츠 제작에 유연하게 활용할 수 있는 가능성을 보여준다.생성 기술의 적용 범위는 현실 세계의 3D 구조로도 이어졌다. 이현수 학생이 공동 제1저자로 참여해 CVPR 2026에 발표한 ‘Image-Guided Geometric Stylization of 3D Meshes’는 스타일 이미지의 시각적 특징을 단순히 3D 물체 표면에 입히는 것을 넘어 물체의 기하학적 형태 자체를 스타일에 맞게 변형하는 기술을 제안했다.WACV 2026에 발표한 ‘Point2Pose: A Generative Framework for 3D Human Pose Estimation with Multi-View Point Cloud Dataset’에서는 포인트 클라우드로부터 사람의 3D 자세를 추정하는 문제를 조건부 생성 문제로 재구성하고, 생성 모델을 활용한 새로운 자세 추정 알고리즘을 제시했다.이와 함께 이현수 학생은 생성 모델을 과학적 추론에 활용하기 위한 연구에도 참여했다. 이현수 학생이 저자로 참여한 ICML 2026 논문 ‘Calibrated Test-Time Guidance for Bayesian Inference’는 기존 기법들이 베이지안 사후분포를 정확하게 추정하지 못할 수 있다는 문제를 규명하고 정확한 사후분포 표본을 생성하기 위한 추정 방법을 제안했다. 이를 통해 생성형 AI의 유도 기술을 콘텐츠 제작뿐 아니라 과학적·통계적 추론 문제로 확장했다.이현수 학생은 서울대 전기정보공학부에서 수리과학부를 복수전공하고 있다. 서울대 전기정보공학부 한보형 교수의 컴퓨터 비전 연구실과 김영민 교수의 3D 비전 연구실에서 연구를 수행했다.또한 미국 UC Irvine에서 교환학생으로 수학하며 Stephan Mandt 교수와 연구를 수행하기도 했다. 현재는 서울대 기계 인지 및 추론 연구실에서 기억의 작동 원리에 착안한 표현 학습 연구를 진행하고 있다.이현수 학생의 연구는 향후 디지털 콘텐츠 제작, 3D 디자인, 가상현실, 인간 동작 분석뿐 아니라 과학 및 공학 설계와 같이 정교한 생성과 신뢰할 수 있는 추론이 필요한 분야에 활용될 것으로 기대된다.한보형 서울대 전기정보공학부 교수는 “생성형 모델의 성능을 활용하면서도 사용자의 의도와 원본 이미지의 구조를 함께 반영하는 일은 중요한 연구 과제다”며 “이현수 학생은 이미지 편집 문제를 중심으로 생성 결과를 정교하게 제어하는 방법을 꾸준히 탐구해 왔다”고 말했다.김영민 서울대 전기정보공학부 교수는 “이미지에서 얻은 시각적 정보를 3D 구조의 변형과 인간 자세 추정으로 연결하는 연구는 생성형 AI의 적용 범위를 넓히는 시도다”며 “이현수 학생은 생성형 모델의 최신 경향과 수학적 모델에 대한 이해를 바탕으로 새로운 분야에 계속해서 도전하고 있다”고 밝혔다.이현수 학생은 “지금까지의 연구는 생성 모델이 가진 지식을 바탕으로 사용자의 의도와 관측 정보에 부합하는 결과를 어떻게 안정적으로 만들어 낼 것인가라는 질문에서 출발했다”며 “앞으로는 생성형 모델링과 표현 학습을 연결해 다양한 환경에 적응하면서도 작동 원리를 설명할 수 있는 지능형 시스템을 개발하고 싶다”고 말했다.

▲ 이경한 서울대학교 전기정보공학부 교수(왼쪽), 박찬정 서울대학교 전기정보공학부 연구원(오른쪽) [출처=서울대학교 공과대학]서울대(총장 유홍림)에 따르면 공과대 전기정보공학부 이경한 교수 연구팀이 엣지 디바이스(Edge Device)에서 비전 트랜스포머(Vision Transformer) 기반 비디오 분석을 기존 대비 2.61배 빠르게 수행하는 인공지능 시스템 ‘우로보로스(Ouroboros)’를 개발했다.이 시스템은 연속된 영상 프레임에서 반복적으로 나타나는 시각 정보를 다시 계산하지 않고 재사용하는 방식으로 비전 트랜스포머의 중복 연산을 줄인 혁신적 기술이다.특히 영상 속 물체와 배경이 움직이더라도 이를 추적해 동일한 시각 정보를 찾아내고 실제로 변화가 큰 부분만 선택적으로 계산한다.연구팀은 고성능 영상 AI 모델의 정확도를 유지하면서도 연산량, 지연 시간, 에너지 소모를 크게 줄일 수 있는 기술을 제시했다는 평가를 받고 있다.따라서 Ouroboros는 전력과 연산 자원이 제한된 환경에서 주로 동작하는 피지컬 AI(Physical AI), 증강현실(AR) 분야에서 실시간 영상 AI의 상용화를 앞당기는 데 결정적으로 기여할 전망이다.이번 연구 성과는 2026년 6월22일부터 사흘간 영국 케임브리지에서 열린 모바일 시스템 분야 최고 권위 국제 학술대회 ‘ACM 모비시스(ACM MobiSys) 2026’에서 23일 구두 발표됐다.◇ 연구 배경최근 비전 트랜스포머*는 객체 탐지, 영상 분할, 자율주행 인식 등 다양한 시각 인공지능 분야에서 높은 성능을 보이고 있다.그러나 입력된 영상을 여러 패치로 나누고 모든 패치 간 관계를 계산하는 구조적 특성 때문에 연산량과 메모리 사용량이 크다.때문에 스마트폰·로봇·드론과 같이 연산 자원과 전력이 제한된 엣지 디바이스*에서 실시간으로 활용하기 어렵다는 한계가 있었다.* 비전 트랜스포머 : 이미지를 여러 개의 작은 조각으로 나눈 뒤, 각 조각 사이의 관계를 분석해 사물과 장면을 인식하는 영상 AI 모델* 엣지 디바이스 : AI 모델을 서버가 아닌 기기 자체에서 실행하는 장치한편 비디오는 연속된 프레임으로 구성되며, 인접한 프레임끼리는 서로 매우 비슷한 특징을 갖는다. 도로 위 차량이나 보행자처럼 이전 프레임에 있던 대상이 다음 프레임에서 조금 이동해 나타나는 경우가 많기 때문이다.따라서 이전 프레임에서 계산한 정보를 재사용할 수 있다면 불필요한 반복 연산을 크게 줄일 수 있다. 기존에는 프레임 간 중복 정보를 재사용하는 다양한 비디오 AI 경량화 기법이 개발돼 왔다.그러나 이러한 기법은 주로 같은 위치의 픽셀이나 프레임 간 차이를 기준으로 중복성을 판단했기 때문에, 카메라가 흔들리거나 물체가 움직이면 실제로는 같은 내용인 영역도 새롭게 계산해야 하는 한계가 있었다.◇ 연구 성과이 문제의 해결에 나선 이경한 교수팀은 영상 속 물체와 배경의 움직임을 반영해 중복 계산을 줄이는 새로운 비디오 AI 기술 Ouroboros를 제안했다.Ouroboros는 하드웨어 비디오 인코더가 제공하는 움직임 정보(Motion Vector)를 활용해 연속된 프레임이 공유하는 같은 시각 정보를 찾아낸다.이를 통해 같은 물체나 배경이 화면 안에서 위치를 옮기더라도 동일한 대상으로 인식하고, 이전 프레임에서 계산한 결과를 다시 활용할 수 있도록 했다.또한 프레임이 이동하면서 일부 영상 정보가 입력 영역 밖으로 벗어나는 문제를 해결하기 위해, 화면의 좌우·상하 경계를 이어 붙인 순환형 입력 공간을 도입했다. 여기에 위치 인코딩 재배치 기술을 결합해, 경계를 넘어 이동한 물체도 하나의 연속된 대상으로 인식할 수 있도록 했다.또한 물체가 화면 가장자리를 넘어 이동할 때 정보가 끊어지는 문제를 해결하기 위해 화면의 좌우와 상하가 이어진 것처럼 처리하는 순환형 입력 공간을 도입했다.여기에 물체의 위치 정보를 새 위치에 맞게 재배치하는 기술을 결합해, 화면 경계를 넘어 이동한 물체도 하나의 연속된 대상으로 정확히 인식할 수 있도록 했다.아울러 연구팀은 화면의 모든 영역을 매번 다시 계산하는 대신, 변화가 큰 부분만 새롭게 계산하고 나머지는 이전 프레임의 계산 결과를 재사용하는 방식을 적용했다.메모리 접근 비용을 최소화하는 계산 구조를 함께 설계해, 연산량 감소가 실제 처리 속도 향상과 에너지 절감으로 이어지도록 했다.실험 결과, Ouroboros는 엔비디아 젯슨 오린(NVIDIA Jetson Orin) 계열 엣지 디바이스에서 최대 87.0%의 연산량 절감, 2.61배의 추론 속도 향상, 64.5%의 에너지 절감을 달성했다.객체 탐지와 인스턴스 분할(Instance Segmentation)* 작업에서는 정확도 저하를 1% 미만으로 유지했으며, 영상 데이터를 서버로 전송해 처리하는 환경에서도 기존 기술보다 더 적은 네트워크 대역폭으로 높은 정확도를 유지했다.* 인스턴스 분할 : 물체의 존재와 위치만 찾는 객체 탐지보다 한 단계 더 나아가, 각각의 물체가 차지하는 영역과 경계를 픽셀 단위로 구분하는 AI 영상 분석 기술◇ 기대 효과이번에 개발된 Ouroboros는 비전 트랜스포머 모델 자체를 새롭게 설계한 게 아니라, 연속된 영상의 처리 과정에서 중복 계산을 줄이는 시스템 기술이다.따라서 기존의 다양한 비전 트랜스포머 기반 영상 AI 모델에 쉽게 적용할 수 있다. 나아가, 향후 더욱 큰 규모의 영상 AI 모델이나 엣지 디바이스와 서버가 함께 연산을 수행하는 AI 시스템으로도 적용 범위가 확장될 수 있다.특히 전력과 연산 자원이 제한된 엣지 디바이스에서도 고성능 영상 AI를 빠르게 실행할 수 있는 기반 기술로 활용될 것으로 기대된다.이에 따라 자율주행, 지능형 CCTV, 드론, 로봇, 모바일 증강현실(AR), 스마트팩토리 등 실시간 영상 분석이 필요한 다양한 분야에서 폭넓게 활용될 전망이다.또한 영상 전체를 서버로 전송하는 대신, AI 추론에 필요한 정보만 선별해 처리할 수 있어 네트워크 사용량을 크게 줄일 수 있다.따라서 영상을 서버로 전송해 분석하는 환경에서도 제한된 네트워크 대역폭에서 안정적이고 정확한 영상 분석 서비스를 제공하는 데 기여할 것으로 기대된다.◇ 연구책임자 의견연구를 지도한 이경한 교수는 “이번 연구는 휴머노이드와 같은 피지컬 AI를 구현하는 데 걸림돌이었던 연산 병목과 네트워크 병목의 문제를 동시에 해결할 수 있는 원천 기술을 확보했다는 점에서 의미가 크다”며 “앞으로 피지컬 AI 및 AI 반도체 기업들과 협력해 Ouroboros 기술의 상용화와 사업화를 적극 추진할 계획”이라고 밝혔다.◇ 연구진 진로이경한 교수 연구팀은 해당 성과를 바탕으로 비디오뿐 아니라 단일 이미지의 입력에 대해서도 엣지-클라우드 협업 추론을 가속하는 후속 연구를 진행할 예정이다.이번 논문의 주저자인 박찬정 연구원은 현재 서울대학교 전기정보공학부 박사과정에 재학 중이며, 엣지 디바이스와 클라우드가 협력해 고성능 인공지능 추론을 효율적으로 수행하는 시스템에 관한 연구를 이어가고 있다.향후 학위 취득 후에는 박사후연구원으로 관련 연구를 지속적으로 수행하며, 제한된 연산·통신 자원 환경에서도 대규모 인공지능 모델을 실시간으로 활용할 수 있는 시스템 기술을 발전시켜 나갈 계획이다.한편, 이번 연구는 서울대학교와 미국 카네기멜론대학교(Carnegie Mellon University)의 공동 연구로 수행됐다. 본 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)과 한국연구재단(NRF)의 지원을 받아 이뤄졌다. 서울대학교 공학연구원 및 뉴미디어통신공동연구소의 지원도 함께 받았다.