Potato
์•ˆ๋…•ํ•˜์„ธ์š”, ๊ฐ์žก๋‹ˆ๋‹ค?๐Ÿฅ” ^___^ ๐Ÿ˜บ github ๋ฐ”๋กœ๊ฐ€๊ธฐ ๐Ÿ‘‰๐Ÿป
๋ฐ˜์‘ํ˜•

tanh 1

[๋”ฅ๋Ÿฌ๋‹] ํ™œ์„ฑํ™” ํ•จ์ˆ˜ (feat.ํŒŒ์ดํ† ์น˜) / ์‹œ๊ทธ๋ชจ์ด๋“œ(sigmoid), ํ•˜์ดํผ๋ณผ๋ฆญ ํƒ„์  ํŠธ (tanh), ๋ ๋ฃจ(ReLU), ์†Œํ”„ํŠธ๋งฅ์Šค(Softmax)

-- ๋ณธ ํฌ์ŠคํŒ…์€ ํŒŒ์ดํ† ์น˜๋กœ ๋ฐฐ์šฐ๋Š” ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ (ํ•œ๋น›๋ฏธ๋””์–ด) ์ฑ…์„ ์ฐธ๊ณ ํ•ด์„œ ์ž‘์„ฑ๋œ ๊ธ€์ž…๋‹ˆ๋‹ค. -- ์†Œ์Šค์ฝ”๋“œ โ–ฝ rickiepark/nlp-with-pytorch (ํ•œ๋น›๋ฏธ๋””์–ด, 2021)์˜ ์†Œ์Šค ์ฝ”๋“œ๋ฅผ ์œ„ํ•œ ์ €์žฅ์†Œ์ž…๋‹ˆ๋‹ค. - rickiepark/nlp-with-pytorch github.com โ–ถ ํ™œ์„ฑํ™” ํ•จ์ˆ˜ (activation function) ์‹ ๊ฒฝ๋ง์—์„œ, ์ž…๋ ฅ ์‹ ํ˜ธ์˜ ์ดํ•ฉ์„ ์ถœ๋ ฅ ์‹ ํ˜ธ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ํ•จ์ˆ˜ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•™์Šต์ด ๊ฐ€๋Šฅํ•˜๊ฒŒ๋” ๋งŒ๋“ค์–ด์ฃผ๋Š” ํ•จ์ˆ˜ (๋ฏธ๋ถ„๊ฐ€๋Šฅํ•œํ•จ์ˆ˜) ์‹ ๊ฒฝ๋ง์—์„œ, ํ•œ ๋…ธ๋“œ์—์„œ ๋‹ค์Œ ๋…ธ๋“œ๋กœ ๋ณด๋‚ผ์ง€ ๋ง์ง€ ๊ฒฐ์ •ํ•˜๋Š” ํ•จ์ˆ˜ (์ž…๋ ฅ๋ฐ›์€ ์‹ ํ˜ธ๋ฅผ ์–ผ๋งˆ๋‚˜ ์ถœ๋ ฅํ• ์ง€ ๊ฒฐ์ •ํ•ด์ฃผ๊ณ , ๋น„์„ ํ˜•์œผ๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋„์™€์ค€๋‹ค) โ–ท ํ™œ์„ฑํ™”ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์ด์œ ? (์ฐธ๊ณ ๊ธ€ https://ganghee-lee.tistory.c..

๋ฐ˜์‘ํ˜•