[인턴] R의 magick 패키지를 활용하여 이미지 색상 추출하기

시작하며

6개월간 IT회사에서 인턴실습을 진행하며 개발하고, 칭찬받았던 개인 과업에 대해 작성해보려고 한다.
회사 내에서 사용했던 기술이면 대외비아니야? 라고 할 순 있겠지만, 
퇴사 전, '색상추출기 보고'를 마치고 센터장님께서 '뭐 퇴사하고 깃허브올리던가~ 잘 저장해둬 잘했네' 라고 칭찬을 해주셨기에, 내가 개발했던 '이미지 분석 전처리 프로세스' 코드 리뷰를 시작해본다!

 

프로젝트 목적

회사 내에서 사용하고 있는 다양한 AI 로직에 적용시킬 수 있는 이미지 색상추출기를 개발하고자 한다.

 

프로젝트 목표

이미지로부터 사람 눈으로도 인정할 수 있는 정확한 색상을 추출하는 것을 목표로 한다.

진행 조건
사내 로직은 R 로 구현되어 있기 때문에, R로 구현해 볼 것  --> 수업 실습 이후로 처음 만져보는 R... 어색했다.
function으로 구현할 것
부하가 적은, 최대한 딥러닝 기법을 사용하지 않고, 빠른 방법을 구현해 볼 것
결과값이 데이터 활용 가능성의 측면에서 높아야 함  --> 이미지를 수치화 해야겠다고 다짐!

 

작업 코드

1. library import

library(tibble)
library(magick)
library(dplyr)

R에서 이미지를 다룰 수 있는 magick 함수가 메인이다

2. main

url1 ="https://%%%%%%%%.jpg"  
extract_colors(url1)

url : 색상을 추출하고픈 사진의 url을 변수에 저장
extract_colors() : 색상 추출 함수를 밑에서 정의할 것이고, 매개변수를 url 로 받는다.

3. 색상 추출하는 함수 살펴보기

3-1. 함수정의

extract_colors <- function(url) { $$$ }

함수를 정의하며 코드를 시작했고, 이제 $$$ 안에 들어갈 색상추출 코드를 살펴보도록 하자. 

3-2. Get Image

 #get image
 img1 <- image_crop(image_scale(image_read(url), 300), "200x200+50+50")

• Image_read : url을 통해 얻은 이미지를
• Image_scale : 300 크기로 가져온 후
• Image_crop : 좌우 앞뒤 200, 200, 50, 50 만큼 잘라서 img1 에 저장한다.
  • 사내에서는 주로 '상품'이미지를 다뤘었다. 상품은 대부분 배경 가운데에 존재했기 때문에, 이미지를 crop 해줬다.

3-3. Color List 생성

색상을 빠르게 비교하기 위해 고안한 방법이다.
미술에서 그림을 그릴때도, 팔레트에 있는 색상을 보고 무슨 색을 칠할까! 라고 고민한다.
그래서 구글링을 좀 하다가, 이 방법으로 개발해보기로 했다. 

즉, hex code 와 색상 이름으로  구성된 문자열 벡터를 만들어 준다.

 color_dic <- setNames(
    c(#back_black
      "#000000ff",
      #black
      "#1d1e23ff", "#0a0a0aff", "#191919ff", "#323232ff", "#4b4b4bff",
      #pink
      "#ff00ffff","#ee82eeff", "#ff1493ff", "#ffc0cbff","#cba397ff","#ff4040ff",
      #orange
      "#ffa500ff","#ff4500ff","#ff8c00ff","#ff825aff", "#f4a460ff",
      #white
      "#ffffff00", "#fafafaff","#f0f0f0ff","#e6e6e6ff",
      #red
      "#ff0000ff","#cc0000ff","#dd221eff","#8b0000ff", "#9c1010ff",
      #yellow
      "#ffff00ff","#ffd700ff","#faf3d4ff", "#f9d537ff","#f5f0c5ff","#e0cf69ff",
      #lime/green
      "#7cfc00ff","#81c147ff", "#008000ff","#00a000ff","#006600ff","#90ee90ff",
      #khaki
      "#556b2fff","#4e6455ff",
      #teal      
      "#008080ff",
      #aqua/blue
      "#00ffffff", "#0000ffff","#87ceebff","#4169e1ff","#585997ff","#97b9bbff",
      #navy
      "#000080ff","#1e205cff", "#191970ff",
      #purple
      "#800080ff", "#7b68eeff", "#8a2be2ff", "#9578afff","#b5b0d6ff",
      #gray
      "#c0c0c0ff", "#a4aaa7ff","#959ea2ff","#616264ff", "#696969ff", "#a9a9a9ff","#d3d3d3ff",
      #brown
      "#916027ff", "#bd9750ff",
      #beige
      "#d2b48cff"
      ),
    
    c("background",
      "black","black2","black3", "black4", "black5",
      "pink","pink2","pink3","pink4","pink5","pink6",
      "orange","orange2","orange3","orange4","oragne5",
      "white","white2","white3", "white4",
      "red","red2","red3","red4","red5",
      "yellow","yellow2", "yellow3","yellow4", "yellow5","yellow6",
      "green","green2","green3","green4","green5","green6",
      "khaki", "khaki2",
      "teal",
      "blue","blue2","blue3","blue4","blue5","blue6",
      "navy", "navy2", "navy3",
      "purple","pruple2","purple3","purple4","purple5",
      "gray","gray2", "gray3","gray4","gray5","gray6","gray7",
      "brown","brown2",
      "beige"
      )
  )

• color dic : set_names 를 활용하여 '#000000' 라고 적혀있는 색상 hex code 에 이름을 붙여줬다.
• black, black2, black3...? 
  • 사진 속에 검정색 신발이 있다고 치면, 그 검정색은 진한검정, 약간 연한검정 정도의 느낌이지 실제로 '#000000'으로구성되는 경우가 매우매우 드물다.
  • 따라서 완전 쌔까만, 찐 검정색은 background라고 명칭해뒀다. (이해가 안가면, 나중에 실행코드 보면 이해할 것이다.)
• 한계점
  • rule based 이기에 정해진 색상만 구별할 수 있다는 치명적인 단점이 존재하기에, 발전이 더 필요하다.

3-4. color palette 생성

만들어 놓은 color_dic을 실제 색상으로 변환시켜주는 단계이다.
문자열 벡터에 있는 hex code 를 기준으로 magick 이미지를 생성해준다.

  for (i in seq_along(color_dic)) {
    fig_name <- paste0(names(color_dic)[i], "_pic")
    assign(
      fig_name,
      image_graph(width = 100, height = 100, res = 300)
    )
    par(mar = rep(0, 4))
    plot.new()
    rect(0, 0, 1, 1, col = color_dic[i], border = color_dic[i])
    assign(fig_name, magick::image_crop(get(fig_name), "50x50+10+10"))
    dev.off()
    rm(i, fig_name)
  }
  color_pal <- paste0(names(color_dic), "_pic")

• rect(0,0,1,1, col = color_dic[i], border = color_dic[i])
  
  • color_dic 에 저장되어 있는 색상들을 사각형으로 불러와서 쭉 이어주면서 color_pal 을 생성한다.

 

3-5. color stand (색상 표준) 제작

magick 형태로 형성된 색상 이미지를 하나의 이미지로 붙여서 색상 표준 (standard) 를 만들어준다.
magick 형태란, 출력하면 색상에 대한 정보가 출력되고 이미지가 실질적으로 출력되지 않는다. 따라서 이것을 실제 우리가 눈으로 볼 수 있는 이미지로 변형해주는 단계라고 생각하면 된다.

  #color_stand 제작
  color_stand <- c()
  for (i in 1:length(color_dic)) {
    color_stand <- append(color_stand, get(color_pal[i]), after = 0)
  }
  color_stand <- image_append(color_stand)
  

color_stand를 출력하면 아래와 같은 이미지가 나온다.  (일부만 추출해 봤다)

color_stand

3-6. Image mapping

색상 추출을 원하는 이미지로부터, 색상표준에 있는 색상을 추출해본다.
image_map 함수를 사용할 것이고, 이 함수는 이미지와 색상표준에 존재하는 color를 비교하여, 동일한 색상들을 출력해준다.

#image mapping
img_mapped <- image_transparent(image_map(image = img, map = color_stand), color = "white")
img_trans <- image_map(image = img_mapped, map = color_stand)

왼쪽: 실제 사진 // 오른쪽: img_trans 결과물

원본 이미지가 없지만, 이 사진들은 img_trans의 결과물들 이다.

• img mapping 을 두번함으로써, 더 정확한 색상만을 뽑아오고자 했다.
• img_transparent 함수를 사용하여, 첫 번째 매핑된 사진에서 white 를 배경처리하며 자동 제거 해줬다.
• 이미지가 매핑이 두번 완료 된 img_trans 를 출력하면 오른 쪽 사진과 같이 색상 팔레트에 있는 색상만 추출된다.

3-7. 추출된 색상의 빈도수와 구성 비율을 계산하는 함수 구현

# count color freq
  count_colors <- function(image) {
    data <- image_data(image) %>%
      apply(2:3, paste, collapse = "") %>% 
      as.vector %>% 
      table() %>%  #count
      as.data.frame() %>% 
      setNames(c("hex", "freq")) #col_name 지정
    data$hex <- paste("#", data$hex, sep="") #data에 # 붙여줌
    return(data)
  }
  
  # get color rate
  get_color_rate <- function(img) {
    colors_in_dic <- img_trans %>%
      count_colors() %>%
      left_join(
        enframe(color_dic) %>% 
          rename(hex = value),
        by = "hex"
      ) %>% 
      arrange(desc(freq)) %>% 
      select(
        `colorName` = name, hexcode = hex,
        `Freq` = freq
      )
    colors_in_dic$colorName <- gsub("[0-9]","", colors_in_dic$colorName)
    colors_in_dic <- colors_in_dic %>% 
      select(c("colorName","Freq"))
    colors_in_dic <- colors_in_dic %>% 
      group_by(colorName) %>% 
      summarise(freq = sum(Freq)) %>% 
      as.data.frame() %>% 
      arrange(desc(freq)) %>% 
      filter(colorName != "background", freq > 100)
    colors_in_dic <- colors_in_dic %>% 
      mutate(Percent = 100 * round((freq/sum(freq)), 3)) %>% 
      filter(Percent > 1.0)
    return(colors_in_dic)
  }

• 이미지의 색상에 포함된 hex code 정보를 가지고, 색상 이름을 찾아주고 빈도수, 비율을 계산하는 함수이다.
• blue, blue2, blue3... 은 뒤에 숫자를 없애버리고 blue 하나로 통일시켜 count 했다.
• background 색상은 (초기에 완전 black을 background라고 지정) count에서 제외 시켜준다.
• Freq 가 100 이하인 것과 Percent 가 1.0 이하인 것은 count에서 제외 시켜줬다.

color_rate <- get_color_rate(img_trans) ## color_rate 실행

	# 함수 마지막에 출력값을 'img_trans 와 rate 둘다 가져오고 싶어서 함수로 만들어줬다.
	re <- function(x, y) {
				    val.x <- x
				    val.y <- y
				    return(list(rate = val.x, pic = val.y))
				  }
  	result <- re(color_rate, img_trans)
 
 # 맨 처음 extract_colors() 함수의 닫히는 부분이다.
 return(result)  # 함수 맨 마지막 return 값을 result로 받아온다.
 }

colorName  freq Percent 1     black 15482    67.2 2      gray  4405    19.1 3     white  1876     8.1 4     khaki   445     1.9 5     green   417     1.8

출력 결과 ) 이렇게 사진과, color rate가 출력된다.

 

3.8. 벡터화

마지막으로 오른쪽에 출력된 rate 를 벡터화 시키면, 해당 사진의 색상 정보를 여러 방면에서 활용 가능하다고 발표했다. color stand 에 있는 색상의 수 만큼의 차원을 가진 벡터로 출력했다!

 

한계점 (꼭 다시 개발해 볼 것)

1. rule base 기반이기 때문에 새로운 색상이 추가되면, 구분하기 어렵다. (아래처럼 파스텔 색은 정의되어 있지 않기 때문에, 연한 파스텔 (연두색)을 추출하지 못했다.)

왼쪽 : 원본사진 // 오른쪽 : 결과

2. 현재 정해져 있는 색상이 아니면 구별이 힘들다. (아래 원본사진의 챠콜색이 따로 지정되어있지 않아서, 시스템상으로 가장 가까운 보라색으로 출력하는 것. --> color_dic에 들어가있는 색상이 많아야 제대로 된 구별이 가능할 것이다..)

왼쪽: 원본사진 // 오른쪽 : 결과

3. 배경을 자동으로 제거하는 과정에서 생기는 노이즈는 잡기 힘들다. 실제로 아래 자전거 사진은, 노이즈 발생으로 인해 색상의 비율이 white 가 높게 출력되었다. 이런 노이즈를 잡기 위해서는 더 정교한 모델이 필요할 것이다.

왼쪽 : 원본사진 // 오른쪽 : 결과

4. transparents 함수로 배경을 white로 지정해서 제거했다. 따라서 배경색이 완전한 하얀색이 아닐 경우는 상품의 색상을 특정짓기 힘들다. (그림자가 있기 때문에 배경이 제거되지 못했다. 따라서 검정색이 대부분인 이어폰이, white 비율이 높게 나타났다.)

왼쪽 : 원본사진 // 오른쪽 : 결과

 

마치며

개발초기, 미숙한 단계일 때 코드를 작성해서 제대로 주석이 달려있지도, 변수명이 정확하고 깔끔하지도 못하다. 앞으로 더 나은 코딩을 할 수 있도록 노력해야겠다. 역시 남들이 알아보게끔 코딩을 하기란 정말 쉽지 않다. 지금 나의 코드를 설명하는것도 되게 우왕좌왕 하다... 나름 회사에서 일을 배우면서 열심히 문서화를 해놔서 이정도 인것 같지만, 더 노력해서 커뮤니케이션 스킬까지 업그레이드 하는 그날까지,,,, .. 블로그 업로드 해봐야징... 

 

아 그리고, 해당 코드를 구현하고 정말... 많이 칭찬받았다. 방법이 신박했고, 데이터 활용가능성이 높았기 때문이었다. 
인턴을 하면서 한 경험이 정말 많고, 값지고 너무 얻은게 많기에 따로 후기를 작성하려고 한다:)