Victory in my life

논문링크: https://arxiv.org/pdf/2103.00020 OpenAI가 2021년에 발표한 CLIP은 이미지와 텍스트를 함께 학습시켜서, 다양한 시각 인식 작업을 사전학습만으로 수행할 수 있는 대표적 멀티모달 모델이다.  최대한 간단하고 깔끔하게 작성해보겠다.  🧠 핵심 아이디어이미지와 텍스트를 함께 학습하는 모델로, 제목 그대로 자연어 지도학습으로 시각모델을 학습시키는 방식을 채틱한다. 이미지와 텍스트가 한 쌍인 웹에서 수집된 대규모 데이터셋 (약 4억 쌍)을 이용해서 학습하였으며, fine-tuning 없이도 다양한 작업에 zero-shot으로 대응할 수 있게 했다.  ⚙️ CLIP의 학습 방식 - 올바른 쌍은 서로 가깝게, 틀린 쌍은 멀게 임베딩되도록 만드는 대조 학습 (Contras..

NeRF 이후 체감상 작년부터 굉장한 주목을 받고 있는 논문이다. 면접에서도 논문 리부탈에서도 필연적으로 나오는 논문.. 이 말은 즉 NeRF 관련 연구를 해 본 사람이고, 해당 분야로 취업을 희망하는 사람으로서 필히 알아야하는 논문이기에 읽어봤다.3D computer vision 전공이 아니고, NeRF만을 뜯어본 사람이기에 좀 알아야할 게 많긴했다..  아래 유튜브로 한번 설명 듣고 논문 읽는걸 추천한다. 대략적인 틀을 잡아줘서 아주 좋았다.https://youtu.be/wvlgjhrrQZU?si=msdh8FbVnHWhAtVW  본격적으로 논문 리뷰에 들어가기에 앞서 간단히 NeRF와의 차이점만 간단히 정리하고 넘어가겠다.💡 NeRF는 장면을 "연속적인 필드(Field)"로 표현하고 볼륨 렌더링을 ..