▲ 사람의 지시 이해, 미래 장면 예측, 행동 생성을 하나의 모델로 통합한 로봇 AI ‘Dynin-Robotics’ 개념 [출처=서울대학교 공과대학]서울대(총장 유홍림)에 따르면 공과대학 전기·정보공학부 도재영 교수 연구팀(AIDAS 연구실)은 언어, 이미지, 영상, 로봇 행동을 하나의 모델에서 함께 다루는 로봇 파운데이션 모델 ‘Dynin-Robotics’를 개발했다.파운데이션 모델은 다양한 데이터를 학습해 여러 작업에 활용할 수 있도록 만든 기반 인공지능(AI) 모델을 뜻한다.Dynin-Robotics는 사람의 지시와 카메라 영상을 바탕으로 로봇의 움직임을 생성한다. 특정 행동을 했을 때의 다음 장면이나 작업을 마친 뒤의 목표 장면을 이미지로 예측하고, 이를 행동 생성과 선택에 활용할 수도 있다.실제 로봇을 이용한 4가지 조작 조건 평가에서는 평균 성공률 78.4%로, 이번 실험에 사용된 엔비디아와 미국 로봇 AI 기업 피지컬 인텔리전스의 비교 모델을 웃돌았다.연구 결과를 담은 논문은 AI·기계학습 분야 최고 권위의 국제학술대회 ‘NeurIPS 2026’에 채택됐으며, 오는 12월 발표될 예정이다.로봇 하드웨어는 빠르게 발전하고 있지만, 낯선 환경에서 새로운 지시를 이해해 작업을 수행하는 일은 여전히 어려운 과제다.정해진 조건에서 익힌 동작을 반복하는 것과 달리 실제 현장에서는 물체의 위치와 모양, 사람의 요청이 매번 달라지기 때문이다.예를 들어 ‘책상 위의 컵을 서랍 안에 넣고 닫아라’는 지시를 수행하려면 컵과 서랍의 위치를 파악하고, 컵을 옮긴 뒤 서랍을 닫는 여러 단계의 행동을 결정해야 한다.최근에는 ChatGPT와 같은 대규모 언어모델의 언어 이해 능력을 로봇 제어에 활용하거나 영상 생성 모델로 미래 장면을 예측하는 연구가 활발하다.연구팀은 사람의 지시를 이해하는 능력과 행동 결과를 예측하는 능력을 로봇의 움직임 생성에 함께 활용하기 위해 이들 기능을 하나의 모델로 통합했다.이번 기술은 연구팀이 앞서 개발한 옴니모달 AI 모델 ‘Dynin-Omni’를 로봇 제어로 확장한 성과다. 옴니모달 AI는 언어, 이미지, 영상, 음성 등 서로 다른 형태의 정보를 하나의 모델에서 함께 이해하고 생성하는 AI를 말한다.연구팀은 여기에 로봇 행동 데이터를 결합해 현실에서 물체를 옮기거나 쌓는 등의 작업을 수행하는 피지컬 AI 모델을 설계했다.Dynin-Robotics의 핵심은 지시와 장면을 이해하고, 행동 결과를 예측하며, 실제 움직임을 생성하는 기능을 함께 학습한다는 점이다.로봇의 작업 영상을 바탕으로 수행한 일을 문장으로 설명할 수도 있다. 연구팀은 ‘과일 고르기’와 ‘꽃 꽂기’ 시뮬레이션에서 이러한 통합 학습의 효과를 확인했다.이해·예측·행동 생성을 함께 학습한 모델은 행동 생성만 학습한 모델보다 새로운 표현의 지시를 더 잘 수행했다. ‘장미를 꽂아’처럼 대상을 직접 지목하는 지시뿐 아니라 ‘사랑을 상징하는 꽃을 꽂아’처럼 의미를 간접적으로 전달하는 지시에도 대응했다.미래 장면 예측은 로봇이 어떤 행동을 할지 결정하는 데 활용된다. 사람이 물건을 옮기기 전에 옮겨 놓을 위치와 결과를 떠올리는 것처럼 로봇도 현재 장면과 지시를 바탕으로 작업 후의 모습을 이미지로 그릴 수 있다.연구팀은 예측한 목표 장면을 참고해 행동을 생성하거나 후보 동작들을 평가해 더 적절한 행동을 선택하는 방법을 구현했다.행동 생성에 필요한 계산 시간도 줄였다. 연구팀은 이어지는 여러 동작에 필요한 정보를 묶어 병렬로 예측하는 방식을 적용했다. 계산 과정에서 반복해서 사용하는 정보도 재활용해 로봇의 다음 동작을 생성하는 효율을 높였다.모델 내부의 행동 생성 속도는 개선 전의 최대 약 29.2배로 향상됐으며, 피지컬 인텔리전스의 ‘π0.5’ 대비 최대 약 36.6배 빠른 속도를 기록했다.실제 로봇 실험에서는 과일 옮기기, 색상별 블록 분류, 순서 제한 없는 블록 쌓기, 지정된 색상 순서에 따른 블록 쌓기 등 네 가지 조작 조건을 평가했다.네 조건의 성공률을 평균한 결과, 엔비디아의 ‘GR00T N1.6’은 73.0%, ‘Cosmos Policy’는 73.6%, 피지컬 인텔리전스의 ‘π0.5’는 76.9%를 기록했다. Dynin-Robotics는 78.4%로 이번 평가에 사용된 비교 모델 가운데 가장 높은 평균 성공률을 보였다.이번 기술은 물류 현장의 물체 분류와 이송, 제조 공정의 부품 취급처럼 사람의 지시와 주변 상황을 함께 고려해야 하는 작업에 활용될 수 있다.다만 이번 성과는 시뮬레이션과 정해진 실제 로봇 실험 환경에서 검증한 결과다. 산업 현장에 적용하려면 더 다양한 물체와 작업 환경에서 성능을 확인해야 한다.연구팀은 Dynin 파운데이션 모델 시리즈를 바탕으로 제조·물류 현장의 부품 취급, 조립, 물체 분류 등을 대상으로 적용 가능성을 검증할 계획이다.제조·의료 분야의 데이터와 요구에 맞춘 추가 학습을 통해 분야별 특화 모델로도 고도화할 예정이다. 이를 위해 로봇 손을 이용한 정밀 조작, 촉각·힘 센서를 활용한 접촉 상태 파악, 새로운 작업과 환경에 빠르게 적응하는 학습 기술을 개발하고 있다. 서울대학교 의과대학 연구진과는 수술 보조 로봇과 소화기 내시경 로봇 등에 AI를 활용하는 공동연구도 추진하고 있다.연구팀은 사람이 제시한 목표를 여러 단계의 작업으로 나누고, 로봇에 작업을 맡긴 뒤 결과를 확인해 다음 행동을 조정하는 AI 에이전트 연구도 함께 추진한다.예를 들어 ‘식탁을 치워줘’라는 요청을 받으면 필요한 작업을 나눠 로봇에 전달하고, 결과를 확인해 실패한 작업은 다른 방법으로 다시 시도하도록 하는 방식이다.연구팀은 이 과정에서 축적한 성공·실패 경험을 활용해 작업 계획과 수행 능력을 지속적으로 개선하는, 이른바 ‘쓸수록 똑똑해지는 로봇’을 구현할 계획이다.이번 연구는 한국연구재단 이공분야 기초연구사업(우수신진)의 지원을 받아 수행됐다.참고자료- 논문명/학회: Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model, NeurIPS 2026- 원문 링크: https://arxiv.org/abs/2609.13053- 프로젝트 페이지: https://dynin.ai/robotics- 연구실: 서울대학교 AIDAS 연구실(https://aidas.snu.ac.kr)

▲ 서울대 공대-의대, 학제간 융합연구(왼쪽에서 열한 번째 서울대학교 공과대학 김영오 학장, 왼쪽에서 열두 번째 서울대학교 의과대학 김정은 학장) [출처=서울대학교 공과대학]서울대(총장 유홍림) 공과대(학장 김영오)에 따르면 2025년 9월19일(금) 관악캠퍼스 공대 대형강의동 43동에서 서울대학교 의과대(학장 김정은)과 함께 ‘공대-의대 학제간 융합연구 2025년도 과제 선정식 및 2024년도 과제 발표회’를 개최했다.이번 행사는 공대-의대 학제 간 융합 연구 활성화를 통해 혁신적 미래 의료기술 개발의 시너지를 창출하고 두 대학 사이의 활발한 교류를 통해 기존의 독립적 연구가 이루지 못했던 획기적 성과를 도출하기 위한 장으로 마련됐다.이날 2025년 선정된 신규 연구 과제는 △항생제 내성 병원균의 생체분자 상분리 기능성 연구(공대 기계공학부 신용대 교수, 의대 미생물학교실 염진기 교수) △파킨슨병 환자의 보행 기능 향상을 위한 착용형 고관절 로봇 보조 및 개인화 보조 전략의 유효성 평가(공대 전기정보공학부 김진수 교수, 의대 재활의학교실 정선근 교수) 등이다.또한 △기계 학습을 활용한 미숙아 조기 폐동맥고혈압 발생 예측 모델 개발(공대 전기정보공학부 도재영 교수, 의대 소아과학교실 김한석 교수) △신생아 중환자실 적용을 위한 신생아 괴사성 장염 조기 예측 및 신속 진단용 휴대형 바이오센서 개발(공대 재료공학부 김영은 교수, 공대 소아과학교실 김이경 교수) 등이 포함됐다.아울러 △뇌 질환 진단 및 치료를 위한 최소침습형 자가전개 뇌표면 디바이스 및 고주파 신호복원을 위한 머신러닝 기반 신호처리 알고리즘 개발(공대 재료공학부 강승균 교수, 의대 의공학교실 강홍기 교수) △CD59×HER2 비대칭 이중항체에 의한 보체 활성화 및 면역원성 세포사멸 기반 불응성 고형암 면역치료제 개발(공대 화학생물공학부 정상택 교수, 의대 약리학교실 이창한 교수) 등도 함께 선정됐다.이어서 지난 2024년에 학제간 연구가 수행된 6개 과제에 대한 결과 발표와 상호 토론이 진행됐다. 2024년 선정된 학제간 연구 6개중 3개는 △마스크형 웨어러블 기기를 활용한 인공지능 디지털 바이오마커 추적 기술 기초연구(공대 기계공학부 고승환 교수, 의대 이비인후과학교실 박무균 교수) △구급이송침상 공기기류조절 시스템 개발 및 감염제어 효과 평가(공대 건축학과 여명석 교수, 의대 응급의학교실 신상도 교수) △안구 삽입 후 섬유화를 일으키지 않는 생체적합성 고분자 기반 초미세 스텐스 개발(공대 기계공학부 김호영 교수, 의대 안과학교실 김태우 교수) 등이다.나머지 3개는 △뇌졸중 환자의 상지재활 시스템 개발 및 임상 효과 분석: 인공근육 기반 글러브 타입의 소프트 웨어러블 로봇 및 뇌파 기반 뇌-컴퓨터 인터페이스활용 재활 시스템(공대 기계공학부 박용래 교수, 의대 재활의학교실 백남종 교수) △뇌 질환 진단 및 치료를 위한 최소침습형 자가전개 뇌표면 디바이스 및 고주파 신호복원을 위한 머신러닝 기반 신호처리 알고리즘 개발(공대 재료공학부 강승균 교수, 의대 의공학교실 강홍기 교수) △우주미세중력 모사 환경에서 치매치료 패러다임 융합연구(공대 항공우주공학과 박형준 교수, 의대 생리학교실 전양숙 교수) 등이다.공과대 김영오 학장은 “이번 행사가 단순한 성과 발표를 넘어, 공학과 의학이 만나 세계적 수준의 융합연구 허브를 구축하고 새로운 연구 영역을 창출하는 장이 되길 기대한다”며 “나아가 특정 분야의 도메인 지식(Domain Knowledge)과 인공지능(AI) 역량을 겸비한 ‘양손 인재’와 새로운 질문을 던지고 융합적 해법을 제시할 수 있는 ‘혁신 인재’를 양성하기 위해 서울대는 앞으로도 초학제적 융복합 연구를 선도해 나갈 것이다”고 밝혔다.의과대 김정은 학장은 “올해 19주년을 맞은 공대-의대 융복합 연구 사업이 새로운 의학적 발견과 공학적 혁신을 이끌어내며 미래 융합 연구의 모범 사례로 자리매김한 만큼 이번에 선정된 과제들이 도전적 시도를 통해 의미 있는 결과로 이어지길 기대한다”며 “향후 서울대는 융합 연구를 넘어 의대생과 공대생이 학부 단계에서부터 함께 배우는 융합 교육을 추진해 우리나라의 미래 성장 동력을 창출하는 데 기여할 것이다”고 말했다.