Potato
์•ˆ๋…•ํ•˜์„ธ์š”, ๊ฐ์žก๋‹ˆ๋‹ค?๐Ÿฅ” ^___^ ๐Ÿ˜บ github ๋ฐ”๋กœ๊ฐ€๊ธฐ ๐Ÿ‘‰๐Ÿป
๋ฐ˜์‘ํ˜•

stemming 1

[NLP] ํ‘œ์ œ์–ด์ถ”์ถœ(lemmatization)๊ณผ ์–ด๊ฐ„์ถ”์ถœ(stemming)

-- ๋ณธ ํฌ์ŠคํŒ…์€ ํŒŒ์ดํ† ์น˜๋กœ ๋ฐฐ์šฐ๋Š” ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ (ํ•œ๋น›๋ฏธ๋””์–ด) ์ฑ…๊ณผ ์œ„ํ‚ค๋…์Šค๋ฅผ ์ฐธ๊ณ ํ•ด์„œ ์ž‘์„ฑ๋œ ๊ธ€์ž…๋‹ˆ๋‹ค. -- ์ฐธ๊ณ ๋ฌธ์„œ๋Š” ๋งํฌ๋กœ ์ฒจ๋ถ€ํ•ด ๋‘์—ˆ์Šต๋‹ˆ๋‹ค. โ–ถ ํ‘œ์ œ์–ด์™€ ์–ด๊ฐ„ ํ‘œ์ œ์–ด = ๋‹จ์–ด์˜ ๊ธฐ๋ณธํ˜• ๋™์‚ฌ 'fly'์˜ ๋ณ€ํ˜•๋œ ํ˜•ํƒœ → flow, flew, flies, flown, flowing... ์–ด๋ฏธ๊ฐ€ ๋ณ€ํ•˜๋ฉด์„œ ์—ฌ๋Ÿฌ ๋‹จ์–ด๋กœ ๋ณ€ํ˜• ์ด ๋ชจ๋“  ๋‹จ์–ด์˜ ํ‘œ์ œ์–ด๋Š” fly ํ•˜๋‚˜ 1. ํ‘œ์ œ์–ด ์ถ”์ถœ (Lemmatization) ํ‘œ์ œ์–ด ์ถ”์ถœ์€ ๋‹จ์–ด๋“ค์ด ๋‹ค๋ฅธ ํ˜•ํƒœ๋ฅผ ๊ฐ€์ง€๋”๋ผ๋„, ๊ทธ ๋ฟŒ๋ฆฌ ๋‹จ์–ด๋ฅผ ์ฐพ์•„๊ฐ€์„œ ๋‹จ์–ด์˜ ๊ฐœ์ˆ˜๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ๋Š”์ง€ ํŒ๋‹จํ•˜๋Š” ๋ฐฉ์‹์ด๋‹ค. ์˜ˆ๋ฅผ๋“ค์–ด am, are, is ๋Š” ์„œ๋กœ ๋‹ค๋ฅธ ๋‹จ์–ด ์ด์ง€๋งŒ, be ๋™์‚ฌ ํ•˜๋‚˜๋กœ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ค. ํ‘œ์ œ์–ด๋ฅผ ์ถ”์ถœํ•˜๋Š” ๊ฐ€์žฅ ์„ฌ์„ธํ•œ ๋ฐฉ๋ฒ•์€ ํ˜•ํƒœํ•™์  ํŒŒ์‹ฑ์„ ๋จผ์ € ์ง„ํ–‰ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ์ฆ‰ 'ํ˜•ํƒœ..

๋ฐ˜์‘ํ˜•