[NLP] 특허 데이터로 Topic Modeling을 진행해보자

시작하며

학부생시절 진행했던 Topic Modeling 프로젝트에 대해 작성하려고 한다.
NLP에 관심이 생기기 시작하여 데이터어낼리틱스 수업을 수강했는데, 운좋게도 NLP에 대한 개념과, 실습을 진행해볼 수있었다. 그 지식을 바탕으로 여러가지 프로젝트를 진행했는데, 그 중 하나이다!

프로젝트 마무리 단계에 레포트로 작성하여 과제로 제출한 경험이 있어서, 시간이 지난 지금에도 이렇게 글로 남길 수 있게되었다. 자료의 문서화에 대한 중요성을 다시금 깨닫는 시간이다 :) 

-- 본 프로젝트는 학교 과제 겸 프로젝트로 진행한 내용입니다 :) 

 

1. 주제선정

1.1 프로젝트 주제

Quantum-dot Display 기술의 특허 데이터에 대한 LDA

 

1.2 프로젝트 목표

Quantum dot display에 관한 794개의 특허의 Topic을 빠르게 파악할 수있는 Topic Modeling을 진행하고자 한다.

특허데이터는 너무 넘쳐나고, 기술적인 용어가 어렵기 때문에 이 Topic Modeling 이 산업에서 널리 사용될 수 있을 것이라고 생각된다!

 

2. 분석 과정

2.1 데이터 수집

2.1.1 활용 데이터

분석 데이터는 미국 특허청 특허 DB 내 전체 기간동안 출원, 공개 및 등록 되어있는 특허들 중에 선정하였다. 동국대학교에서 지원하는 특허 검색 사이트( 무슨 사이트였는지 까먹었다... 찾는대로 업로드 하겠습니다.!) 에 Quantum-dot display와 유사한 의미로 쓰이는 단어를 아래 <표1>과 같이 정리하여 검색식을 작성하였다.

Quantum - dot display 관련 특허 검색식

TI = ("Quantum*" or "QD") AND ("display*") or ("QLED" or "QLCD")

<표 1> Quantum-dot display 특허 검색식

특허 검색 결과 총 794건의 특허가 검색되었고, 해당 특허의 번호, 명칭, 요약, 출원번호, 전체청구항을 기준 등을 csv 형태의 데이터로 다운받았다. 본 레포트에서는 다운받은 데이터를 대상으로 LDA를 수행한다. <그림 2>는 특허 검색 결과를 나타낸 것이고, <그림 3>은 다운받은 데이터의 예시를 나타낸 것이다.

<그림 2> 특허 데이터 검색 결과

<그림 3> 다운받은 데이터 예시

2.2 LDA Topic Modeling

R studio 프로그램을 이용하여 2.1에서 수집한 데이터를 기반으로 Topic Modeling을 수행하였다. LDA Topic Modeling의 전체적인 프로세스는 LDA 환경 구성, 말뭉치 (Corpus) 생성, Term-doc Matrix 생성, LDA계산, LDA 결과 계산 도출 순으로 진행하였다.

2.2.1 LDA 환경구성

R studio에서 LDA Topic Modeling에 필요한 ldatuning, topicmodels, tm, slam, ida 패키지를 설치 후 라이브러리로 불러와 LDA Topic Modeling을 위한 환경을 구성하였다. 이후 “quntum_dot_data.csv”파일을 불러오고 “전체 청구항”열에 대한 분석을 진행하기 위해 이를 target_doc으로 지정하였다.

# 패키지 설치 및 호출
install.packages('ldatuning')
install.packages('topicmodels')
install.packages('tm')
install.packages('slam')
install.packages('lda')

library(ldatuning)
library(topicmodels)
library(tm)
library(slam)
library(lda)

# 데이터 불러오기 및 전처리
setwd("C:\\Users\\my\\Desktop")
lda_source<-read.csv("quantum_dot_data.csv",stringsAsFactors = FALSE, header = FALSE)
target_doc<-lda_source[,6]

 

2.2.2 말뭉치 (Corpus) 생성

tm패키지의 VectorSource 함수를 이용하여 Corpus를 생성한다. 이후, TermDocumentMatrix 함수를 이용하여 숫자나 기호, 빈 데이터를 제거해주었다. 또한 많이 쓰이는 통사구조인 claim, comprising, including, includes를 stop words 로 처리해 주었다.

# corpus 생성
doc_vec<-VectorSource(target_doc)
corpus<-Corpus(doc_vec)
# term document matrix
tdm = TermDocumentMatrix(corpus, control = list(removeNumbers = T,
                                                removePunctuation = T,
                                                stemming = FALSE,
                                                stopwords = c(stopwords('SMART'),
                                                              'comprising','including',
                                                              'includes'),
                                                omit_empty = T))
word.count = as.array(rollup(tdm,2))
word.order = order(word.count, decreasing = T)[1:1000] ## 많이 쓰인 단어대로 올림차순
freq.word = word.order[1:1000]

 

2.2.3 Term-Doc Matrix 생성

분석된 데이터의 크기가 크기 때문에 LDA 를 계산하는데에 시간이 많이 소요된다. 이를 개선하기 위해 상위 1000개의 단어만 사용하게끔 Term-Doc Matrix를 생성했다.

# dtm 생성
dtm = as.DocumentTermMatrix(tdm[freq.word,])
dtm.matrix<-as.matrix(dtm)
dtm

 

2.2.4 LDA 계산

lda 패키지를 사용하여 앞서 준비한 lda 데이터를 기반으로 lda 분석을 실행한다. 분석 시 Gibbs Sampling을 사용했다. 토픽 개수 K는 50개로 지정, interation 값은 500, burnin값 100, 문서 내 확률분포는 0.01, 하나의 topic 안에서의 hyper parameter는 0.01로 구성하였다.

ldaform=dtm2ldaformat(dtm, omit_empty=T) ## dtm을 LDA 포멧의 데이터로 변환

result.lda = lda.collapsed.gibbs.sampler(documents = ldaform$documents,
                                         K = 50,
                                         vocab = ldaform$vocab,
                                         num.iterations = 500,
                                         burnin = 100,
                                         alpha = 0.01,
                                         eta = 0.01)
#alpha = 문서내의 확률분포 / eta = 문서내 주제별 확률분포

 

2.2.5 LDA 계산 결과 도출

주제별 키워드 20개와, 주제별 핵심 문서 10개를 도출해서 각각의 파일로 저장하였다.

# 분석 결과 확인
attributes(result.lda)
dim(result.lda$topics)
result.lda$topics
document_sums <- result.lda$document_sums

# 주제별 키워드 도출 및 저장
topic_word <- top.topic.words(result.lda$topics, num.words = 20)
write.csv(topic_word, "topic_word.csv")

# 주제별 핵심 문서 도출 및 저장
num.documents = 10
doc_topic <- top.topic.documents(document_sums, num.documents, alpha = 0.1)
write.csv(doc_topic, "doc_topic.csv")

 

3. 결과 및 시사점

3.1 결과

도출된 결과의 일부를 발췌하여 주제별 상위 키워드 및 문서의 일부를 해석해 보았다. 도출된 결과의 두 개의 파일은 아래 <그림 4> 와 <그림 5> 에 첨부하였다.

<그림 4> Topic_word.csv : 주제별 상위 키워드 20

<그림 5> doc_topic.csv : 주제별 핵심 문서 상위 10개

 

3.2 해석

아래 <표 2> 를 보고 다음과 같이 해석할 수 있었다. 양자점(Quantum dot) display의 pixel structure의 구성(comprises)에 대한 특허라는 것을 유추해 볼 수 있다. pixel이 각자(respective) 다른 diode로 configured 되어 있고, pixel이 겹겹이 쌓인 layer 구조임을 알 수 있다. 이 주제를 갖고 있는 특허는 303번 특허, 656번 특허, 420번 특허, 265번 특허 등이 있으며, <표 3>에 이 주제를 가진 특허 상위 10개를 표현해 놓았다.

Topic 4	pixel	plurality	computational	layers	type
	display	diode	defined	configured	polygon
	claim	pixels	structure	system	portion
	comprise	respective	regions	coupled	method

<표 2> Topic 4의 주제별 상위 키워드 20개

Topic 4	303	656	420	265	418
	271	434	597	261	612

<표 3> Topic 4의 주제별 핵심 상위 문서 10개

 

3.3 시사점

특허 데이터에 LDA를 적용함으로써, 수많은 특허 중 사용자가 관심있는 특정 특허 문서를 군집화 할 수 있다. 이를 통해 특정 주제에 대한 현황, 문제점, 해결책을 파악할 수 있는 인사이트를 얻을 수 있다. 또 특정 주제 및 관련성 높은 단어들을 분석하면서 해당 기술의 현황 파악, 연구 동향을 파악 할 수 있을 것이다.

4. 결론

TV 및 가전 제품 시장에 차세대 기술로 주목받고 있는 quantum-dot display 기술은 높은 성장률을 보이고 있다. 따라서 quantum-dot display에 관한 특허 데이터를 LDA로 분석하여 topic별로 clustering 하였다. 또한 해당 topic에 대한 핵심 문서도 도출하였다. 이를 통해 quantum-dot display에 대한 구조를 살펴볼 수 있었다. 특허 데이터에 대한 LDA를 수행함으로써 해당 주제에 대한 연구동향, 현재 현황을 파악하고, 핵심 주제별로 묶어서 살펴볼 수 있었으며, 결과를 바탕으로 해당 주제에 관한 연구 방향까지 설계할 수 있을 것이다.

 

 

마치며

처음으로 NLP에 관심을 갖게된 계기였다. 내용을 모두 훑어보지 않고, 내용을 유추할 수 있다는 것은 굉장한 혁명으로 다가왔다. NLP를 마스터하는 그날까지......... 기초적인 지식부터 쌓고 공부해야징