멀티스케일 특성을 활용한 비전 트랜스포머 기반 딥페이크 탐지에 관한 연구Vision Transformer-based Deepfake Detection Using Multiscale Features
- Other Titles
- Vision Transformer-based Deepfake Detection Using Multiscale Features
- Authors
- 정해민; 조혁주; 김우주; 이광연
- Issue Date
- Jun-2024
- Publisher
- 한국지능정보시스템학회
- Keywords
- 딥페이크 탐지; 멀티스케일 특성 분석; 비전 트랜스포머; Deepfake Detection; Multiscale Feature Analysis; Vision Transformer
- Citation
- 지능정보연구, v.30, no.2, pp 275 - 285
- Pages
- 11
- Journal Title
- 지능정보연구
- Volume
- 30
- Number
- 2
- Start Page
- 275
- End Page
- 285
- URI
- https://scholarworks.bwise.kr/ssu/handle/2018.sw.ssu/49822
- DOI
- 10.13088/jiis.2024.30.2.275
- ISSN
- 2288-4866
2288-4882
- Abstract
- 딥페이크는 이미지나 영상에서 특정 사람의 얼굴을 다른 사람으로 대체하는 딥 러닝 기술, 또는 이 기술을 이용해 생성한 가짜 이미지나 영상을 지칭한다. 딥 러닝 기술이 널리 보급되면서 딥페이크 기술에 대한 접근성이 높아졌고, 결과적으로 이를 악용한 범죄도 증가하고 있다. 이에 따라 효과적인 딥페이크 탐지 기술의 필요성이 점점 더 커지고 있다. 딥페이크 생성은 주로 신원 교체와 표정 재연이라는 두 가지 방식으로 이루어지는데, 기존의 탐지 기술은 딥페이크가 어떤 방식 으로 생성되었는지에 따라 탐지 성능의 편차를 보인다. 본 연구에서는 딥페이크 탐지 모델의 성능 편차를 줄임으로써 기존 방법론들의 한계를 보완할 수 있는 연구를 제안하고자 하였다. 제안하는 모델은 먼저 영상을 프레임 단위의 이미지들로 자른 다음, 딥페이크의 주된 대상 영역인 얼굴 부분과, 일종의 지역 정보라고 할 수 있는 입 부분을 각각 추출하여 멀티스케일 특성으로 활용한다. 각 특성을 서로 다른 비전 트랜스포머 구조에 입력한 다음, 출력되는 예측 결과들을 종합하여 동영상이 딥페이크인지 아닌지를 효과적으로 판단하게 된다. 특히, 얼굴 부분은 신원 교체 방식으로 생성된 딥페이크를 대응하는 데 도움이 되고, 입 부분은 표정 재연 방식의 딥페이크를 대응하는 데 도움이 되기 때문에 모델은 서로 다른 딥페이크 생성 방식에 대한 강건성을 갖게 된다. 제안하는 방법론을 두 개의 데이터셋에 대해 실험한 결과, 상대적으로 높은 탐지 성능과 함께 다양한 딥페이크 생성 방식에 대해 보다 범용적으로 대응할 수 있는 가능성을 확인하였다.
- Files in This Item
-
Go to Link
- Appears in
Collections - ETC > 1. Journal Articles
![qrcode](https://api.qrserver.com/v1/create-qr-code/?size=55x55&data=https://scholarworks.bwise.kr/ssu/handle/2018.sw.ssu/49822)
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.