728x90

๊ธฐ์šธ๊ธฐ 1

[Deep Learning] ์˜ค์ฐจ ์ˆ˜์ •ํ•˜๊ธฐ: ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•, ํŽธ๋ฏธ๋ถ„ ์ฝ”๋“œ ๊ตฌํ˜„

๊ธฐ์šธ๊ธฐ a๋ฅผ ๋„ˆ๋ฌด ํฌ๊ฒŒ ์žก๊ฑฐ๋‚˜ ๋„ˆ๋ฌด ์ž‘๊ฒŒ ์žก์œผ๋ฉด ์˜ค์ฐจ๊ฐ€ ์ปค์ง. ์˜ค์ฐจ์™€ ๊ธฐ์šธ๊ธฐ ์‚ฌ์ด์—๋Š” ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ์Œ. ์˜ค์ฐจ๊ฐ€ ๊ฐ€์žฅ ์ž‘์€ ์ ์€ ๊ธฐ์šธ๊ธฐ a๊ฐ€ m์— ์œ„์น˜ํ•ด ์žˆ์„๋•Œ ์ด๋ฏ€๋กœ, m์œผ๋กœ ์ด๋™์‹œํ‚ค๋Š” ๊ณผ์ •์ด ํ•„์š”ํ•จ. ๋ฏธ๋ถ„ ๊ธฐ์šธ๊ธฐ๋ฅผ ์ด์šฉํ•œ ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(gradient descent)๋ฅผ ํ†ตํ•ด ์˜ค์ฐจ๋ฅผ ๋น„๊ตํ•˜์—ฌ ๊ฐ€์žฅ ์ž‘์€ ๋ฐฉํ–ฅ์œผ๋กœ ์ด๋™์‹œ์ผœ์•ผํ•จ. ์ตœ์†Ÿ๊ฐ’ m์—์„œ์˜ ์ˆœ๊ฐ„ ๊ธฐ์šธ๊ธฐ๋Š” x์ถ•๊ณผ ํ‰ํ–‰ํ•œ ์„ , ์ฆ‰ ๊ธฐ์šธ๊ธฐ๊ฐ€ 0์ž„. - '๋ฏธ๋ถ„๊ฐ’์ด 0์ธ ์ง€์ '์„ ์ฐพ์•„ ์˜ค์ฐจ๋ฅผ ๊ฐ€์žฅ ์ ๊ฒŒ ๋งŒ๋“ค์–ด์•ผ ํ•จ. aโ‚์—์„œ ๋ฏธ๋ถ„์„ ๊ตฌํ•œ๋‹ค. ๊ตฌํ•ด์ง„ ๊ธฐ์šธ๊ธฐ์˜ ๋ฐ˜๋Œ€ ๋ฐฉํ–ฅ(๊ธฐ์šธ๊ธฐ๊ฐ€ +๋ฉด ์Œ์˜ ๋ฐฉํ–ฅ, -๋ฉด ์–‘์˜ ๋ฐฉํ–ฅ)์œผ๋กœ ์–ผ๋งˆ๊ฐ„ ์ด๋™์‹œํ‚จ aโ‚‚์—์„œ ๋ฏธ๋ถ„์„ ๊ตฌํ•œ๋‹ค. ์œ„์—์„œ ๊ตฌํ•œ ๋ฏธ๋ถ„ ๊ฐ’์ด 0์ด ์•„๋‹ˆ๋ฉด ์œ„ ๊ณผ์ •์„ ๋ฐ˜๋ณตํ•œ๋‹ค. ๊ฒฝ์‚ฌ ํ•˜๊ฐ•๋ฒ•์€ ์ด๋ ‡๊ฒŒ ๋ฐ˜๋ณต์ ์œผ๋กœ ๊ธฐ์šธ๊ธฐ a๋ฅผ ๋ณ€ํ™”์‹œ์ผœ์„œ..

Deep Learning 2022.11.22
728x90