Layout Code Generation using Large Multimodal Models

GUI 레이아웃 생성은 사용자 인터페이스의 구성 요소를 분석하고 구조적으로 배치하는 핵심 기술이다. 본 연구는 거대 멀티모달 모델(Large Multimodal Models, LMMs)을 활용하여 이미지의 레이아웃을 구조화된 코드로 변환하는 새로운 접근을 제안한다. 제안된 방법은 별도의 학습 없이도 LMM이 GUI의 시각 및 구조적 정보를 효과적으로 이해하고, 이를 기반으로 레이아웃을 생성할 수 있도록 설계되었다. 본 프레임워크는 입력 이미지로부터 특징 벡터를 추출 후 유사 이미지를 검색한 뒤, 해당 예시에 시각 및 공간적 증강 기... View More