비전 트랜스포머를 통한 Full Transformer 비디오 캡셔닝 모델 제안
DC Field | Value | Language |
---|---|---|
dc.contributor.author | 임희주 | - |
dc.contributor.author | 최용석 | - |
dc.date.accessioned | 2023-08-22T03:00:04Z | - |
dc.date.available | 2023-08-22T03:00:04Z | - |
dc.date.created | 2023-08-17 | - |
dc.date.issued | 2023-08 | - |
dc.identifier.issn | 2383-6318 | - |
dc.identifier.uri | https://scholarworks.bwise.kr/hanyang/handle/2021.sw.hanyang/189419 | - |
dc.description.abstract | 컴퓨터 비전 분야에서 트랜스포머 모델을 사용하는 방안이 크게 대두되고 있다. 이미지를 뿐만 아니라 비디오 데이터에 대해서도 트랜스포머를 활용한 성능향상에 대해서 활발한 연구가 진행 중이다. ViViT[6]에서는 비디오의 시간적인 정보와 공간적인 정보를 두 종류의 트랜스포머로 학습하는 방안을 제안했다. 허나 처음 제안된 ViT를 포함하여 ViViT 및 또 다른 ViT 활용 모델들의 경우에도 학습된 CLS token 만을 사용하며 나머지 patch sequence는 고려하지 않는다. 본 연구에서는 self-attention을 통해 학습된 patch sequence의 정보를 활용하는 다양한 방안을 실험하였다. 이후 해당 방안들을 feature extraction network로 하여 비디오 캡셔닝 태스크를 수행하였다. 네가지 매트릭을 통해 성능평가를 진행하였고 캡셔닝 결과는 appearance feature 만을 사용했음에도 BLEU-4, METEOR, ROUGE-L 매트릭에서 SOTA 모델들과 근접한 결과를 보였다. | - |
dc.language | 한국어 | - |
dc.language.iso | ko | - |
dc.publisher | 한국정보과학회 | - |
dc.title | 비전 트랜스포머를 통한 Full Transformer 비디오 캡셔닝 모델 제안 | - |
dc.title.alternative | A Full Transformer Video Captioning Model via Vision Transformer | - |
dc.type | Article | - |
dc.contributor.affiliatedAuthor | 최용석 | - |
dc.identifier.doi | 10.5626/KTCP.2023.29.8.378 | - |
dc.identifier.bibliographicCitation | 정보과학회 컴퓨팅의 실제 논문지, v.29, no.8, pp.378 - 383 | - |
dc.relation.isPartOf | 정보과학회 컴퓨팅의 실제 논문지 | - |
dc.citation.title | 정보과학회 컴퓨팅의 실제 논문지 | - |
dc.citation.volume | 29 | - |
dc.citation.number | 8 | - |
dc.citation.startPage | 378 | - |
dc.citation.endPage | 383 | - |
dc.type.rims | ART | - |
dc.identifier.kciid | ART002985813 | - |
dc.description.journalClass | 2 | - |
dc.description.isOpenAccess | N | - |
dc.description.journalRegisteredClass | kci | - |
dc.subject.keywordAuthor | 비전 트랜스포머 | - |
dc.subject.keywordAuthor | 비디오 캡셔닝 | - |
dc.subject.keywordAuthor | 딥러닝 | - |
dc.subject.keywordAuthor | 유니버셜 트랜스포머 | - |
dc.subject.keywordAuthor | ViT | - |
dc.subject.keywordAuthor | video captioning | - |
dc.subject.keywordAuthor | deep learning | - |
dc.subject.keywordAuthor | universal transformer | - |
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.
222, Wangsimni-ro, Seongdong-gu, Seoul, 04763, Korea+82-2-2220-1365
COPYRIGHT © 2021 HANYANG UNIVERSITY.
Certain data included herein are derived from the © Web of Science of Clarivate Analytics. All rights reserved.
You may not copy or re-distribute this material in whole or in part without the prior written consent of Clarivate Analytics.