Potato
์•ˆ๋…•ํ•˜์„ธ์š”, ๊ฐ์žก๋‹ˆ๋‹ค?๐Ÿฅ” ^___^ ๐Ÿ˜บ github ๋ฐ”๋กœ๊ฐ€๊ธฐ ๐Ÿ‘‰๐Ÿป

์ทจ์ค€์ผ๊ธฐ/์ธ์ ์„ฑํ›„๊ธฐ

[2021 ์ƒ๋ฐ˜๊ธฐ] CJ์˜ฌ๋ฆฌ๋ธŒ๋„คํŠธ์›์Šค ๋ฐ์ดํ„ฐ๋ถ„์„ ๊ณผ์ œํ…Œ์ŠคํŠธ ํ›„๊ธฐ (AI Engineer์ง๋ฌด)

๊ฐ์ž ๐Ÿฅ” 2021. 11. 15. 20:13
๋ฐ˜์‘ํ˜•

์‹œ์ž‘ํ•˜๋ฉฐ

CJ์˜ฌ๋ฆฌ๋ธŒ๋„คํŠธ์›์Šค ์„œ๋ฅ˜ ํ•ฉ๊ฒฉ ํ›„ ์ธ์ ์„ฑ์— ์‘์‹œํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค. ์ฑ„์šฉ ์ „ํ˜•์„ ์—ฌ๋Ÿฌ๋ฒˆ ์ ‘ํ•˜๋‹ค ๋ณด๋ฉด, ์š”์ฆ˜ '๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ œํ…Œ์ŠคํŠธ'๋ฅผ ์‘์‹œํ•˜๋Š” ํšŒ์‚ฌ๊ฐ€ ๋งŽ์•„์กŒ๋‹ค. ๋‚ด๊ฐ€ ์“ด ํšŒ์‚ฌ๋“ค ์ค‘์—์„œ๋„ ๋ฒŒ์จ ์„ธ ๊ณณ์ด๋‚˜ ์ผ๋ฐ˜ ์ฝ”๋”ฉํ…Œ์ŠคํŠธ๊ฐ€ ์•„๋‹Œ, ๋ฐ์ดํ„ฐ ๋ถ„์„ ์‹œํ—˜์„ ์‘์‹œํ•˜๊ณ  ์žˆ๋‹ค. ํ•˜์ง€๋งŒ ์ผ๋ฐ˜ ์ฝ”๋”ฉํ…Œ์ŠคํŠธ์— ๋น„ํ•ด ์—ฐ์Šตํ•  ๊ธธ์ด ์—†๊ณ  ์ •๋ณด๊ฐ€ ๋งŽ์ด ๋ถ€์กฑํ•˜์—ฌ ์ž‘์„ฑํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค. ๋งŽ์€ ์ทจ์ค€์ƒ๋“ค์ด ๋‚˜์˜ ๊ธ€์„ ์ฝ๊ณ  ๋„์›€์„ ๋ฐ›๊ธธ ๊ธฐ์›ํ•˜๋ฉฐ, ์‹œ์ž‘!

 

1. ์ „ํ˜•์•ˆ๋‚ด

์„œ๋ฅ˜ ํ•ฉ๊ฒฉ ํ›„ ์•ฝ 1์ฃผ ๋ฐ˜...? ์ •๋„์˜ ์‹œ๊ฐ„ ํ›„์— ์ฝ”๋”ฉํ…Œ์ŠคํŠธ๋ฅผ ๋ณด๊ฒŒ ๋˜์—ˆ๋‹ค.
CJ์˜ฌ๋ฆฌ๋ธŒ๋„คํŠธ์›์Šค์˜ AI ์ง๋ฌด๋Š” ์ธ์„ฑ+๋ฐ์ดํ„ฐ๋ถ„์„ ๊ณผ์ œํ…Œ์ŠคํŠธ๋ฅผ ์‘์‹œํ•˜๋Š” ๊ฒƒ ๊ฐ™์•˜๋‹ค.
ํƒ€ ์ฝ”๋”ฉ ๊ด€๋ จ ์ง๋ฌด๋Š” ์ธ์„ฑ+์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ผ๋ฐ˜ ์ฝ”๋”ฉํ…Œ์ŠคํŠธ๋ฅผ ์‘์‹œํ–ˆ๊ณ , Finance Analyst ์ง๋ฌด๋Š” ์ธ์„ฑ๋งŒ ๋ณด๋Š”๊ฒƒ ๊ฐ™์•˜๋‹ค.

์•„๋ž˜ ์ผ์ •๊ณผ ๊ฐ™์ด, ์‚ฌ์ „์ ‘์† ํ›„, ์ธ์„ฑ๊ฒ€์‚ฌ๋ฅผ ์น˜๋ฅด๊ฒŒ ๋˜๊ณ , ใ„น30๋ถ„์˜ ์‰ฌ๋Š” ์‹œ๊ฐ„ ํ›„์— ๊ณผ์ œํ…Œ์ŠคํŠธ๋ฅผ ์น˜๋ฃจ๊ฒŒ ๋œ๋‹ค.

 

2. CJ ์ธ์„ฑ๊ฒ€์‚ฌ

์ธ์„ฑ๊ฒ€์‚ฌ๋„ 'ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค'์—์„œ ์ง„ํ–‰๋˜์—ˆ๋‹ค. ์•ฝ๊ฐ„ UI๊ฐ€ '๋งˆ์ด๋‹ค์Šค AI ์—ญ๊ฒ€'์˜ ์„ฑํ–ฅํŒŒ์•…?? ๊ทธ UI๋ž‘ ๋น„์Šทํ–ˆ๋‹ค. ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค ํŠน์œ ์˜ ๋‚จ์ƒ‰ ๋ฐฐ๊ฒฝ์—์„œ 1~5 ์‚ฌ์ด์˜ ๊ทธ๋ ‡๋‹ค/์•„๋‹ˆ๋‹ค ๋ฅผ ๋Œ€๋‹ตํ•˜๋Š” ์ผ๋ฐ˜์ ์ธ ์ธ์„ฑ๊ฒ€์‚ฌ์˜€๋‹ค.

๊ทธ๋ž˜๋„ ํŠน์ดํ•œ์ ์€, ๊ทธ ์‚ฌ๋žŒ์˜ ์„ฑํ–ฅ์„ ์•Œ์•„๋ณผ ์ˆ˜ ์žˆ๋Š” ๋…ํŠนํ•œ ์งˆ๋ฌธ์ด ๋งŽ์•˜๋‹ค. ๋‹จ์ˆœํžˆ, '๋‚˜๋Š” ํ™”๋‚˜๋ฉด ์†Œ๋ฆฌ๋ฅผ ์ง€๋ฅธ๋‹ค' ์ด๋Ÿฐ ์งˆ๋ฌธ๋งŒ ์žˆ๋Š”๊ฑด ์•„๋‹ˆ์—ˆ๊ณ , '์‹ ์ž…๊ณผ ์ผํ•˜๋Š”๊ฑธ ์„ ํ˜ธํ•˜๋Š”๊ฐ€?', '๋‚˜์™€ ๋งž์ง€ ์•Š๋Š” ์‚ฌ๋žŒ๊ณผ ์ผํ•˜๋Š”๊ฒŒ ์ข‹์€๊ฐ€?', '๋ˆ์ด 1000๋งŒ์›์ด ์žˆ๋Š”๋ฐ, ์นœ๊ตฌ์™€ ์–ด๋–ป๊ฒŒ ๋‚˜๋ˆŒ๊ฒƒ์ธ๊ฐ€? 5:5? 2:8?' ์ด๋Ÿฐ์‹์˜ ์„ฑํ–ฅ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ๊ฐ€ ๊ต‰์žฅํžˆ ๋งŽ์•˜๋‹ค.

๋‚˜๋˜ํ•œ ์ด๋Ÿฐ ๋ฌธ์ œ๋“ค์—์„œ ๊นŠ๊ฒŒ ๊ณ ๋ฏผํ–ˆ๋˜ ๊ฒƒ ๊ฐ™๋‹ค. (์‹œ๊ฐ„์ด ํ•˜์ง€๋งŒ ์ด‰๋ฐ•ํ•ด์„œ ๊ทธ๋ฆฌ ๊นŠ๊ฒŒ ๊ณ ๋ฏผํ•˜์ง„ ๋ชปํ–ˆ๊ณ , ,,, ใ…Žใ…Ž) ์ธ์„ฑ๊ฒ€์‚ฌ๊ฐ€ ๋ช‡๋ฌธ์ œ์˜€๋Š”์ง€๋Š” ๊ธฐ์–ต์ด ๋‚˜์ง€ ์•Š์ง€๋งŒ, ๋ฌธ์ œ๊ฐ€ ๊ฝค๋‚˜ ๋งŽ์•˜๋˜ ๊ฒƒ ๊ฐ™๋‹ค. ํ•œ์‹œ๊ฐ„์ด๋‚˜ ๋ณด๋‹ˆ๊นŒ....

์–ด์ฉƒ๋“ , CJ์˜ ์ธ์„ฑ๊ฒ€์‚ฌ๋Š”, ์ด์‚ฌ๋žŒ์ด ๋‚˜์œ๊ฐ€ ์ฐฉํ•œ๊ฐ€๋ฅผ ๋”ฐ์ง€๋Š” ๊ฒƒ์ด ์•„๋‹Œ, ์ง„์งœ CJ์™€ ๋ถ€ํ•ฉํ•œ๊ฐ€? ๋ฅผ ๋ณด๋Š” ์ธ์„ฑ๊ฒ€์‚ฌ๋ผ๋Š” ๋Š๋‚Œ์ด ๊ฐ•ํ–ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ž์‹ ์žˆ๊ฒŒ Finance ์ง๋ฌด๋Š” ์ธ์„ฑ๋งŒ ๊ฐ€์ง€๊ณ  ํ•ฉ/๋ถˆ์„ ํŒ๋‹จํ•˜๋‚˜๋ณด๋‹ค.. ๋ผ๊ณ  ์ƒ๊ฐํ–ˆ๋‹ค. 

 

3. ๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ œํ…Œ์ŠคํŠธ

๋ฌธ์ œ ๊ตฌ์„ฑ๊ณผ ์‹œํ—˜ ๋ฐฉ์‹์€ ์•„๋ž˜์™€ ๊ฐ™๋‹ค. 

  • ์‹œํ—˜ ํˆด ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค (์ฅฌํ”ผํ„ฐ ํ™˜๊ฒฝ)
  • ์‹œํ—˜ ๋ฐฉ์‹ ํ™”๋ฉด ๋…นํ™”๋„ ํ•˜๊ณ , ์›น์บ ๋„ ์ผœ๊ณ , ์ง€์†์ ์œผ๋กœ ๊ด€๋ฆฌ์ž์™€ ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜์ด ๋˜๋Š” ํ™˜๊ฒฝ์ด๋ผ ์ปจ๋‹, ์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰ ๋“ฑ์€ ์ ˆ๋Œ€ ์•ˆ๋œ๋‹ค.
  • ์‚ฌ์šฉ ๊ฐ€๋Šฅ ์–ธ์–ด Python3, R
  • ์‹œํ—˜ ์œ ํ˜• ๋ฐ์ดํ„ฐ๋ถ„์„ 2๋ฌธ์ œ

์šฐ์„  ์˜คํ”ผ์…œํ•˜๊ฒŒ ์ฃผ๋Š” ์ •๋ณด๋Š” ์ด์ •๋„ ์˜€๋‹ค. ๋‚˜๋Š” ์ด์ „์— 'SK cnc' ๋ฐ์ดํ„ฐ ๋ถ„์„ ์‹œํ—˜์„ ๋ณธ ๊ฒฝํ—˜์ด ์žˆ๊ธฐ์—, ๊ทธ๋ƒฅ ๊ทธ ์‹œํ—˜๊ณผ ๋˜‘๊ฐ™๊ฒ ๊ฑฐ๋‹ˆ~~~ ํ•˜๋ฉด์„œ ์—ฐ์Šตํ–ˆ๋‹ค. (์‹ค์ œ๋กœ๋„ ๊ต‰์žฅํžˆ ๋น„์Šทํ–ˆ๋‹ค.)

์‚ฌ์‹ค ๋ฌธ์ œ์— ๋Œ€ํ•œ ๋ณต๊ธฐ๋ฅผ ์™„๋ฃŒ ํ•ด๋†“์•˜์ง€๋งŒ, ์ž์„ธํ•œ ์–ธ๊ธ‰์€ ๋ฌธ์ œ๊ฐ€ ๋˜๋‹ˆ, ๋ฐ์ดํ„ฐ๋ถ„์„ ํ…Œ์ŠคํŠธ๋ฅผ ์–ด๋–ป๊ฒŒ ์ค€๋น„ํ–ˆ๊ณ , ์–ด๋–ค ํŒ์ด ์žˆ๋Š”์ง€ ์œ„์ฃผ๋กœ ํฌ์ŠคํŒ… ํ•ด๋ณด๊ฒ ๋‹ค.

 

3.1 ๋ฐ์ดํ„ฐ๋ถ„์„ ์—ฐ์Šต, ์–ด๋–ป๊ฒŒ ์ค€๋น„ํ–ˆ๋‚˜?

์‚ฌ์‹ค ๊ธฐ์กด์— AI, ๋ฐ์ดํ„ฐ ๊ด€๋ จ ํ•™๊ณผ๋‚˜ ๊ฒฝํ—˜์ด ๋งŽ๋‹ค๋ณด๋ฉด, ๋‹น์—ฐํžˆ ํ’€ ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ๋กœ ๋‚˜์˜จ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค ์ฃผํ”ผํ„ฐ ๋…ธํŠธ๋ถ์— ๋‚ด์žฅ๋˜์–ด ์žˆ๋Š” sklearn ํŒจํ‚ค์ง€๋ฅผ ๊ฐ€์žฅ ๋งŽ์ด ์‚ฌ์šฉํ•˜๋Š”๊ฒƒ ๊ฐ™์•˜๋‹ค. (ํ›„๊ธฐ๋ฅผ ๋ณด์•„ํ•˜๋‹ˆ)

์‹œํ—˜ ๋ฐฉ์‹์€ ๋ฐ์ดํ„ฐ์…‹์ด ์ฃผ์–ด์ง€๊ณ , ๊ทธ๋ƒฅ ์ง„์งœ ๋ง๊ทธ๋Œ€๋กœ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ํ•œ๊ตญ์—์„œ ์ข€ ์œ ๋ช…ํ•œ ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋Œ€ํšŒ๋ฅผ ๋งŽ์ด ์˜คํ”ˆํ•˜๋Š” '๋ฐ์ด์ฝ˜'์— ์ฐธ์—ฌํ•ด๋ณธ ์‚ฌ๋žŒ์€, ์•„์ฃผ ์ˆ˜์›”ํ•  ๊ฒƒ์ด๋‹ค. ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ํ•˜๊ณ , ์›ํ•˜๋Š” ํ˜•ํƒœ์— ๋งž๊ฒŒ submission ํŒŒ์ผ์„ ๋งŒ๋“œ๋Š” ๋ฐฉ์‹์œผ๋กœ ์ถœ์ œ๋œ๋‹ค. ๋‚˜๋˜ํ•œ ๋ฐ์ด์ฝ˜์— ์ฐธ์—ฌํ–ˆ๋˜ ๊ฒฝํ—˜์ด ๋งŽ์ด ์žˆ์—ˆ๊ธฐ์—, ์ˆ˜์›”ํ•˜๊ฒŒ ๋ฌธ์ œ๋ฅผ ์ดํ•ดํ•˜๊ณ  ์ตœ์ข… ํŒŒ์ผ๊นŒ์ง€ ๋งŒ๋“ค์–ด๋‚ผ ์ˆ˜ ์žˆ์—ˆ๋‹ค.

์šฐ์„ , ๋‚˜๋Š” ์–ด๋ ค์šด ๊ณต๋ถ€๋Š” ํ•˜์ง€ ์•Š์•˜๋‹ค. ์ฃผ์–ด์งˆ ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ๋Š” ๋‹จ ๋ช‡๊ฐ€์ง€ ๋ฟ์ด๋ผ๊ณ  ์ƒ๊ฐํ•˜๊ณ  ๊ณต๋ถ€ํ–ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„ ๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ๊ฐ€์žฅ ๊ธฐ์ดˆ๋ผ ํ•จ์€, ํ™•๋ฅ ๋กœ ๊ฒฐ๊ณผ๊ฐ’์„ ๋‚ด๋ณด๋‚ด๊ฑฐ๋‚˜, 0/1๋กœ ๋ถ„๋ฅ˜ํ•˜๋Š” ๋ฌธ์ œ ์ด๋Ÿฐ๊ฒŒ ๋‚˜์˜ค์ง€ ์•Š์„๊นŒ? ๋ฌด์กฐ๊ฑด์ด๋‹ค.

๋”ฐ๋ผ์„œ ๋‚˜๋Š” ์•„๋ž˜ '์บ๊ธ€'์˜ ํ•œ ๋ฌธ์ œ๋ฅผ ๊นŠ๊ฒŒ ๊นŠ๊ฒŒ ์ดํ•ดํ•˜๊ณ , ์™ธ์šฐ๋‹ค์‹œํ”ผ ๋ฐ์ดํ„ฐ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•ด๋ณด๊ณ  ์‹œํ—˜์— ์‘์‹œํ–ˆ๋‹ค.

https://didu-story.tistory.com/43?category=937100 

๋ฐ˜์‘ํ˜•
 

[Kaggle] Bike Sharing Demand : ์ž์ „๊ฑฐ ์ˆ˜์š” ์˜ˆ์ธก

์‹œ์ž‘ํ•˜๋ฉฐ ๋ฌด๋ ค 6๋…„์ „์— Kaggle ๋Œ€ํšŒ๋กœ ์˜ฌ๋ผ์˜จ ์ž์ „๊ฑฐ ์ˆ˜์š” ์˜ˆ์ธก ํ”„๋กœ์ ํŠธ! ๋ฐ์ดํ„ฐ ๋ถ„์„ ์—ญ๋Ÿ‰ ํ…Œ์ŠคํŠธ๋ฅผ ๋Œ€๋น„ํ•˜๊ธฐ ์œ„ํ•ด ๊ฐ€์žฅ ๊ธฐ๋ณธ์ ์ธ Kaggle ๋Œ€ํšŒ ๋ถ€ํ„ฐ ์—ฐ์Šตํ•ด๋ณด๊ธฐ๋กœ ํ–ˆ๋‹ค. ๋‚˜์˜ ์ด๋Ÿฌํ•œ ์—ฐ์Šต์ด ์ข‹๊ฒŒ

didu-story.tistory.com

 

๋”๋ถˆ์–ด SKcnc์—์„œ ์‹œํ—˜์„ ๋ดค์„ ๋•Œ, ๋ฐ์ดํ„ฐ EDA๋„ ์ƒ๋‹นํ•˜๊ฒŒ ์ค‘์š”ํ•œ ๋ถ€๋ถ„์„ ์ฐจ์ง€ํ–ˆ๋˜๊ฒƒ(?) ๊ฐ™์•„์„œ, EDA๋ฅผ ํ•˜๋Š” ์‚ฌ์†Œํ•œ ๊ณผ์ •, ์ฝ”๋“œ, ์‚ฌ์†Œํ•œ ๋ฌธ๋ฒ•์‚ฌํ•ญ๊นŒ์ง€ ๋ชจ๋‘ ์™ธ์šฐ๋‹ค์‹œํ”ผ ๊ณต๋ถ€ํ•˜๊ณ  ๋“ค์–ด๊ฐ”๋‹ค.

(์‹ค์ œ๋กœ ์ •๋ง ๋งŽ์ด๋งŽ์ด๋งŽ์ด ๋„์›€์ด ๋˜์—ˆ๋‹ค.) 
๋‚˜๋Š” ๋น„๋ก ์—ฌ๋Ÿฌ๊ฐ€์ง€ ๋ฉด์ ‘๊ณผ ์‹œํ—˜์ด ๊ฒน์น˜๋ฉด์„œ ์ด '์ˆ˜์š”์˜ˆ์ธก'๋ฌธ์ œ ํ•˜๋‚˜๋งŒ ๊ณต๋ถ€ํ•˜๊ณ  ๋“ค์–ด๊ฐ”์ง€๋งŒ, ์‹œ๊ฐ„์ด ์กฐ๊ธˆ ์—ฌ์œ ๋กญ๊ณ  ์ค€๋น„๊ฐ€ ์ถฉ๋ถ„ํžˆ ๋˜์–ด์žˆ๋Š” ์‚ฌ๋žŒ์€ '์ˆ˜์š”์˜ˆ์ธก'๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๋ถ„๋ฅ˜๋ฌธ์ œ, ๋ญ ๊ฐ€๊ฒฉ์˜ˆ์ธก๋ฌธ์ œ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ์…‹์„ ์บ๊ธ€์—์„œ ๋‹ค๋ค„๋ณด๊ณ  ๋“ค์–ด๊ฐ€๋Š” ๊ฒƒ์„ ์ถ”์ฒœํ•œ๋‹ค.

 

3.2 ๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ œ ํ…Œ์ŠคํŠธ๋ฅผ ์œ„ํ•œ ๊ฟ€ํŒ

1. ๊ธฐ๋ณธ๋ฌธ๋ฒ•์„ ์ตํžˆ์ž

์‚ฌ์‹ค ์ธํ„ฐ๋„ท์—†์ด,, ์ฝ”๋”ฉ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ์ผ์€ ์—†๋‹ค. ๋”ฐ๋ผ์„œ ๋ฐ์ดํ„ฐ์…‹์ด ์ฃผ์–ด์ง€๊ณ  ๊ทธ๊ฒƒ์„ ์ธํ„ฐ๋„ท์„ ์ฐธ๊ณ ํ•˜์ง€ ์•Š๊ณ  ๊ทธ๋ƒฅ ์Œฉ์œผ๋กœ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•˜๊ธฐ์—๋Š”,, ์‚ฌ์‹ค ๊ธฐ๋ณธ์ ์ธ ๋ฌธ๋ฒ•๋„ ๋งŽ์€ ์˜ํ–ฅ์„ ์ค€๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

๋ญ ์—ฌ๊ธฐ์ •๋„๊นŒ์ง€ ์˜ค์‹ ๋ถ„๋“ค์ด๋ฉด, for๋ฌธ while๋ฌธ ๋“ฑ ๋‹ค์–‘ํ•œ ๊ธฐ๋ณธ๋ฌธ๋ฒ•์€ ์•Œ๊ฒ ์ง€๋งŒ,, ๊ฐ„ํ˜น๊ฐ€๋‹ค๊ฐ€ ๊ฐ‘์ž๊ธฐ 'ํ—‰, ์ด๊ฑฐ ๋‚ด๋ฆผ์ฐจ์ˆœ์œผ๋กœ ์ •๋ ฌ ์–ด์ผ€ํ–‡๋”๋ผ? sort? sorted?', 'ํ— ์ด๊ฑฐ null ์ฒ˜๋ฆฌ ์–ด๋–ป๊ฒŒํ•˜์ง€..' ๋“ฑ ์‚ฌ์†Œํ•œ ๊ธฐ๋ณธ ๋ฌธ๋ฒ•์‚ฌํ•ญ? ์ด ๊ธฐ์–ต์ด ์•ˆ๋‚ ๋•Œ๊ฐ€ ๋งŽ๋‹ค. (์ „ ๊ทธ๋žซ์Šต๋‹ˆ๋‹ค ใ… ใ… ) ๋”ฐ๋ผ์„œ ๋‚˜๋Š” ์ตœ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ์…‹์„ EDA, ์ •์ œํ•˜๋Š”๋ฐ ํ•„์š”ํ•œ ๋ฌธ๋ฒ•์‚ฌํ•ญ์„ ๋‹ค์‹œํ•œ๋ฒˆ ์ตํžˆ๊ณ  ๋“ค์–ด๊ฐ”๋‹ค.

2. ํ•˜๋‚˜๋งŒ, ํ˜น์€ ๋‘์„ธ๊ฐœ๋งŒ! ์™ธ์›Œ๊ฐ€์ž

๋‚˜๋Š” ๋ฐ์ดํ„ฐ์˜ ํ˜•ํƒœ๊ฐ€ ์–ด๋–ป๋“ , ๊ทธ๋ƒฅ '์•™์ƒ๋ธ” ๋ชจ๋ธ'์„ ์‚ฌ์šฉํ•˜์ž. ๋ผ๊ณ  ๋จธ๋ฆฟ์†์— ๋ฐ•์•„๋ฒ„๋ฆฌ๊ณ , Gradient ๋ถ€์ŠคํŒ… ๋ชจ๋ธ ์ฝ”๋“œ๋ฅผ ์™ธ์›Œ๊ฐ”๋‹ค. ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹ ์ด๋Ÿฐ์‹์œผ๋กœ ๋ฐ์ดํ„ฐ์…‹์ด ์–ด๋–ป๋“ , ์ž์‹ ์ด ์™ธ์šด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ด์„œ ๊ทธ๋ƒฅ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•ด๋ฒ„๋ฆฌ๋Š” ๊ฒฝ์šฐ๋„ ํ•ฉ๊ฒฉ์— ๋†’์€ ์˜ํ–ฅ์„ ์ค€๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค. 

from sklearn.ensemble import GradientBoostingClassifier

์ด๊ฑฐ ์œ„์— GradientBoostingClassifier ์ธ๋ฐ, Classifier ์•ˆ์จ์„œ ์ง„์งœ 15๋ถ„์ •๋„ ๊ณจ๋จธ๋ฆฌ์Œ‹์—ˆ๋‹ค ์‹ค์ œ๋กœ ์‹œํ—˜์—์„œ.ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹ใ…‹์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰์ด ์•ˆ๋˜๋‹ค๋ณด๋‹ˆ ์ด๋Ÿฐ ์‚ฌ์†Œํ•œ๊ฒƒ๋“ค์ด ๊ฑธ๋ฆผ๋Œ์ด ๋œ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋Ÿฐ ๊ธฐ๋ณธ์ ์ธ ๊ฒƒ๋“ค์€ ๊ทธ๋ƒฅ ํ†ต์œผ๋กœ ์™ธ์›Œ๊ฐ€์ž!!!!

3. Pandas ์žฅ์ธ์ด ๋˜์–ด๋ณด์ž

๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•˜๋Š” ์‚ฌ๋žŒ์€ ๋ฌด์กฐ๊ฑด,, ๋ฐ์ดํ„ฐํ”„๋ ˆ์ž„์œผ๋กœ ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฃจ๊ฒŒ ๋œ๋‹ค. ๊ทธ๋งŒํผ, ์ด๋ฒˆ ์‹œํ—˜์—์„œ๋Š” ๋ฐ์ดํ„ฐํ”„๋ ˆ์ž„์„ ์–ด๋–ป๊ฒŒ ์ด๋ฆฌ์ €๋ฆฌ ์ €์ชฝ์œผ๋กœ ์ด์ชฝ์œผ๋กœ ๊ตด๋ฆฌ๋Š๋ƒ ์ด๋Ÿฐ๊ฒƒ๋“ค์ด ํ•ฉ๊ฒฉ์˜ ํฌ์ธํŠธ๊ฐ€ ๋˜์—ˆ๋˜๊ฒƒ ๊ฐ™๋‹ค. ์‹ค์ œ๋กœ Group by ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๋‚˜, DataFrame์˜ ์ธ๋ฑ์Šค๋ฅผ ๋‹ค๋ฃจ๋Š” ๋ฐฉ๋ฒ•์ด๋‚˜ ๋“ฑ๋“ฑ ์—ฌ๋Ÿฌ๊ฐ€์ง€ ๋ฐ์ดํ„ฐํ”„๋ ˆ์ž„์„ ๋‹ค๋ฃจ๋Š” ๊ธฐ๋ณธ์ ์ธ ๋ฌธ๋ฒ•์„ ๋ฌด์กฐ๊ฑด ์™ธ์šฐ๊ณ  ์ตํžˆ๊ณ  ๋“ค์–ด๊ฐ€์ž. ๋‚˜๋„ merge, join, concat ๋“ฑ pandas์—์„œ ์ง€์›ํ•˜๋Š” ์ž์ฃผ์“ฐ๋Š” ๋ฉ”์†Œ๋“œ๋“ค์„ ๊ฑฐ์˜๋‹ค ์™ธ์šฐ๊ณ  ํ•œ๋ฒˆ์”ฉ ๋” ๋ณต์Šตํ•˜๊ณ  ์‹œํ—˜์— ์‘์‹œํ–ˆ๋‹ค.

 

4. ๊ฒฐ๊ณผ๋Š”?

๊ฒฐ๊ณผ๋Š” ํ•ฉ๊ฒฉ์ด๋‹ค. SKc&c์—์„œ ๋–จ์–ด์กŒ๋˜ ๊ฒƒ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฒ ์ €ํ•˜๊ฒŒ(?) ์ค€๋น„ํ–ˆ๋”๋‹ˆ, ๊ฒฐ๊ณผ๋Š” ํ•ฉ๊ฒฉ์ด์—ˆ๋‹ค. ๋ฌธ์ œ๋Š” ์ „ํ˜€ ์–ด๋ ต์ง€ ์•Š์•˜๊ณ , ์ €๋Ÿฐ ๊ธฐ๋ณธ์ ์ธ ๊ฒƒ๋“ค์ด ๋‚˜์˜ ๋ฐœ๋ชฉ์„ ๋ถ™์žก์•˜์—ˆ๊ธฐ์—, pandas๋ฅผ ์—ด์‹ฌํžˆ ์™ธ์šฐ๊ณ  ๋ชจ๋ธ์„ ์—ด์‹ฌํžˆ ์™ธ์›Œ๊ฐ”๋”๋‹ˆ ์ข‹์€ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”๋˜ ๊ฒƒ๊ฐ™๋‹ค ใ…‹ใ…‹ใ…‹... 

 

ํ•˜๋‚˜ ๋” ํŒ์„ ์ฃผ์ž๋ฉด, SK c&c, ํ˜„๋Œ€์นด๋“œ, CJ์˜ฌ๋ฆฌ๋ธŒ๋„คํŠธ์›์Šค ์„ธ ๊ฐœ์˜ ํšŒ์‚ฌ ๋ชจ๋‘ ๋น„์Šทํ•œ ํ˜•ํƒœ๋กœ ๋‚˜์˜จ๋‹ค. ๋”ฐ๋ผ์„œ ๋ฐ์ดํ„ฐ๋ถ„์„ ๊ณผ์ œํ…Œ์ŠคํŠธ๋ฅผ ์ด๋ ‡๊ฒŒ ๋Œ€๋น„ ํ•ด๋†“๋Š”๋‹ค๋ฉด, ๋‹ค์Œ ๋ฐ์ดํ„ฐ๋ถ„์„ํ…Œ์ŠคํŠธ๋Š” ๊ปŒ์ด๋œ๋‹ค๋Š” ์‚ฌ์‹ค! ์‹ค์ œ๋กœ CJ์—์„œ ํ•ฉ๊ฒฉํ•˜๊ณ  ํ˜„๋Œ€์นด๋“œ์—์„œ๋„ ์ฝ”๋”ฉํ…Œ์ŠคํŠธ ํ•ฉ๊ฒฉ์„ ๋ฐ›์•˜๋‹ค♥ 

 

์ถ”๊ฐ€๋กœ, 1์ฐจ๋ฉด์ ‘ ํ›„๊ธฐ๊ฐ€ ๊ถ๊ธˆํ•˜๋‹ค๋ฉด ์—ฌ๊ธฐ๋กœ โ–ผโ–ผโ–ผโ–ผโ–ผ

https://didu-story.tistory.com/140

 

[2021 ์ƒ๋ฐ˜๊ธฐ] CJ์˜ฌ๋ฆฌ๋ธŒ๋„คํŠธ์›์Šค 1์ฐจ ๋ฉด์ ‘ ํ›„๊ธฐ (AI Engineer ์ง๋ฌด)

์‹œ์ž‘ํ•˜๋ฉฐ 2021๋…„ ํ•˜๋ฐ˜๊ธฐ๊นŒ์ง€ ์Šฌ์Šฌ ๋งˆ๋ฌด๋ฆฌ ์ค‘์ธ ์š”์ฆ˜, ๋„ˆ๋ฌด ๋ฐ”์œ ์‹œ๊ธฐ๋ฅผ ๋ณด๋ƒˆ๊ธฐ์— '์ทจ์—…์ผ๊ธฐ'๋ฅผ ์“ฐ์ง€ ๋ชปํ–ˆ๋‹ค. ์Šฌ์Šฌ ์˜ฌํ•ด๊ฐ€ ๋งˆ๋ฌด๋ฆฌ ๋˜๊ณ  ์žˆ์œผ๋‹ˆ, 2021 ์ƒ๋ฐ˜๊ธฐ๋ถ€ํ„ฐ ์ฐจ๋ก€๋Œ€๋กœ ๋ฉด์ ‘ ํ›„๊ธฐ๋‚˜ ์ž‘์„ฑํ•ด๋ณด๋ ค๊ณ 

didu-story.tistory.com

 

๋งˆ๋ฌด๋ฆฌ

๊ณต๋ถ€ํ•œ ๊ฒฐ๊ณผ๊ฐ€ ๊ทธ๋Œ€๋กœ ๋‚˜์˜ค๋‹ˆ ๋„ˆ๋ฌด ํ–‰๋ณตํ–ˆ๋‹ค. ์ผ๋ฐ˜ ์ ์„ฑ์‹œํ—˜ ๊ฐ™์€ ๊ฒฝ์šฐ๋Š” ๋‚ด๊ฐ€ ์—ด์‹ฌํžˆ ํ•œ๋‹ค๊ณ  ํ•ด๋„ ๊ฒฐ๊ณผ๊ฐ€ ์ œ๋Œ€๋กœ ๋‚˜์˜ค์ง€ ์•Š๋Š” ๊ฒฝ์šฐ๋„ ๋งŽ์•˜๋Š”๋ฐ, ์—ญ์‹œ ์ฝ”๋”ฉ์€ ์ •์งํ•œ ๊ฒƒ ๊ฐ™๋‹ค. ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์ด ๋‚˜์˜ ๊ธ€์„ ๋ณด๊ณ  ๋ฐ์ดํ„ฐ๋ถ„์„๊ณผ์ œํ…Œ์ŠคํŠธ์— ๋Œ€ํ•ด์„œ ๋งŽ์€ ์ •๋ณด๋ฅผ ์–ป์–ด๊ฐ”์Œ ์ข‹๊ฒ ๋‹ค. ์ทจ๋ฝ€ํ•˜๋Š” ๊ทธ๋‚ ๊นŒ์ง€ ํ™”์ดํŒ…

๋ฐ˜์‘ํ˜•