키워드 기반 다크웹과 표면웹 텍스트 관계 연구

Abstract

다크웹의 특성상 익명성이 강하다는 특성을 활용해 많은 범죄가 다크웹에서 발생하거나 근원지가 되고 있다. 이러한 다크웹에 대한 사이버공격범죄에 대한 정보를 파악하기 위해 본연구는 다크웹에서 크롤링한 CoDA(Comprehensive Darkweb Annotations)데이터셋을 활용함과 동시에 표면웹에서 수집된 데이터셋을 비교한 것을 바탕으로 사이버 공격에 대한 정보를 관계를 통해 분석하는 것을 시도하였다. 해당 텍스트 분석은 다크웹과 표면웹에서spaCy, KeyBERT, YAKE를 활용하여 키워드를 추출하고 TF-IDF, 코사인 유사도를 활용하여 텍스트 데이터 간의 관계를 보여주는 실험을 진행했다. 연구결과 다크웹과 표면웹 데이터 셋에 대해 키워드를 추출하고 키워드가 포함된 문장 사이의 유사도를 추출한 결과 두 데이터 셋 사이의 키워드가 유사하여 텍스트 관계가 일정 부분 존재함을 확인할 수 있었다.