목록VLM (1)

Victory in my life

[논문리뷰]CLIP: Learning Transferable Visual Models From Natural Language Supervision

논문링크: https://arxiv.org/pdf/2103.00020 OpenAI가 2021년에 발표한 CLIP은 이미지와 텍스트를 함께 학습시켜서, 다양한 시각 인식 작업을 사전학습만으로 수행할 수 있는 대표적 멀티모달 모델이다.  최대한 간단하고 깔끔하게 작성해보겠다.  🧠 핵심 아이디어이미지와 텍스트를 함께 학습하는 모델로, 제목 그대로 자연어 지도학습으로 시각모델을 학습시키는 방식을 채틱한다. 이미지와 텍스트가 한 쌍인 웹에서 수집된 대규모 데이터셋 (약 4억 쌍)을 이용해서 학습하였으며, fine-tuning 없이도 다양한 작업에 zero-shot으로 대응할 수 있게 했다.  ⚙️ CLIP의 학습 방식 - 올바른 쌍은 서로 가깝게, 틀린 쌍은 멀게 임베딩되도록 만드는 대조 학습 (Contras..
ML|DL/논문리뷰 2025. 4. 2. 19:54
이전 Prev 1 Next 다음