728x90

๋ฏธ๋ถ„ 2

[Deep Learning] ์˜ค์ฐจ ์ˆ˜์ •ํ•˜๊ธฐ: ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•, ํŽธ๋ฏธ๋ถ„ ์ฝ”๋“œ ๊ตฌํ˜„

๊ธฐ์šธ๊ธฐ a๋ฅผ ๋„ˆ๋ฌด ํฌ๊ฒŒ ์žก๊ฑฐ๋‚˜ ๋„ˆ๋ฌด ์ž‘๊ฒŒ ์žก์œผ๋ฉด ์˜ค์ฐจ๊ฐ€ ์ปค์ง. ์˜ค์ฐจ์™€ ๊ธฐ์šธ๊ธฐ ์‚ฌ์ด์—๋Š” ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ์Œ. ์˜ค์ฐจ๊ฐ€ ๊ฐ€์žฅ ์ž‘์€ ์ ์€ ๊ธฐ์šธ๊ธฐ a๊ฐ€ m์— ์œ„์น˜ํ•ด ์žˆ์„๋•Œ ์ด๋ฏ€๋กœ, m์œผ๋กœ ์ด๋™์‹œํ‚ค๋Š” ๊ณผ์ •์ด ํ•„์š”ํ•จ. ๋ฏธ๋ถ„ ๊ธฐ์šธ๊ธฐ๋ฅผ ์ด์šฉํ•œ ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(gradient descent)๋ฅผ ํ†ตํ•ด ์˜ค์ฐจ๋ฅผ ๋น„๊ตํ•˜์—ฌ ๊ฐ€์žฅ ์ž‘์€ ๋ฐฉํ–ฅ์œผ๋กœ ์ด๋™์‹œ์ผœ์•ผํ•จ. ์ตœ์†Ÿ๊ฐ’ m์—์„œ์˜ ์ˆœ๊ฐ„ ๊ธฐ์šธ๊ธฐ๋Š” x์ถ•๊ณผ ํ‰ํ–‰ํ•œ ์„ , ์ฆ‰ ๊ธฐ์šธ๊ธฐ๊ฐ€ 0์ž„. - '๋ฏธ๋ถ„๊ฐ’์ด 0์ธ ์ง€์ '์„ ์ฐพ์•„ ์˜ค์ฐจ๋ฅผ ๊ฐ€์žฅ ์ ๊ฒŒ ๋งŒ๋“ค์–ด์•ผ ํ•จ. aโ‚์—์„œ ๋ฏธ๋ถ„์„ ๊ตฌํ•œ๋‹ค. ๊ตฌํ•ด์ง„ ๊ธฐ์šธ๊ธฐ์˜ ๋ฐ˜๋Œ€ ๋ฐฉํ–ฅ(๊ธฐ์šธ๊ธฐ๊ฐ€ +๋ฉด ์Œ์˜ ๋ฐฉํ–ฅ, -๋ฉด ์–‘์˜ ๋ฐฉํ–ฅ)์œผ๋กœ ์–ผ๋งˆ๊ฐ„ ์ด๋™์‹œํ‚จ aโ‚‚์—์„œ ๋ฏธ๋ถ„์„ ๊ตฌํ•œ๋‹ค. ์œ„์—์„œ ๊ตฌํ•œ ๋ฏธ๋ถ„ ๊ฐ’์ด 0์ด ์•„๋‹ˆ๋ฉด ์œ„ ๊ณผ์ •์„ ๋ฐ˜๋ณตํ•œ๋‹ค. ๊ฒฝ์‚ฌ ํ•˜๊ฐ•๋ฒ•์€ ์ด๋ ‡๊ฒŒ ๋ฐ˜๋ณต์ ์œผ๋กœ ๊ธฐ์šธ๊ธฐ a๋ฅผ ๋ณ€ํ™”์‹œ์ผœ์„œ..

Deep Learning 2022.11.22

[Deep Learning]์ตœ์†Œ์ œ๊ณฑ๋ฒ•

- ์ผ์ฐจํ•จ์ˆ˜, ๊ธฐ์šธ๊ธฐ์™€ y ์ ˆํŽธ y = ax + b x๊ฐ€ ์ผ์ฐจ์ธ ํ˜•ํƒœ x๊ฐ€ ์ผ์ฐจ๋กœ ๋‚จ์œผ๋ ค๋ฉด a(๊ธฐ์šธ๊ธฐ)๋Š” 0์ด ์•„๋‹ˆ์–ด์•ผ ํ•จ. - ์ด์ฐจํ•จ์ˆ˜ y = ax² ๋งจ ์•„๋ž˜ ์œ„์น˜ํ•œ ์ตœ์†Ÿ๊ฐ’์„ ์ฐพ๋Š” ๊ณผ์ •์ด ์ค‘์š” - ๋ฏธ๋ถ„ ์ˆœ๊ฐ„ ๋ณ€ํ™”์œจ๊ณผ ๊ธฐ์šธ๊ธฐ y = x²์—์„œ x์ถ•์— ์žˆ๋Š” ํ•œ ์  a์— ๋Œ€์‘ํ•˜๋Š” y์˜ ๊ฐ’์€ a² ์ด๋•Œ a๊ฐ€ ์˜ค๋ฅธ์ชฝ์ด๋‚˜ ์™ผ์ชฝ์œผ๋กœ ์กฐ๊ธˆ์”ฉ ์ด๋™ํ•  ๋•Œ y๋„ ์กฐ๊ธˆ์”ฉ ๋ณ€ํ™”ํ•จ. a๊ฐ€ ์•„์ฃผ ์•„์ฃผ ๋ฏธ์„ธํ•˜๊ฒŒ 0์— ๊ฐ€๊นŒ์šธ ๋งŒํผ ์›€์ง์ผ ๋•Œ y๊ฐ’ ์—ญ์‹œ ๋งค์šฐ ๋ฏธ์„ธํ•˜๊ฒŒ ๋ณ€ํ™”ํ•จ. ๋„ˆ๋ฌด ๋ฏธ์„ธํ•ด์„œ ๋ฐฉํ–ฅ๋งŒ ๋“œ๋Ÿฌ๋‚ด๋Š” ์ •๋„์˜ ์ˆœ๊ฐ„์ ์ธ ๋ณ€ํ™”๋งŒ ์žˆ์„ ๋•Œ ์ด ์ˆœ๊ฐ„์˜ ๋ณ€ํ™”๋ฅผ '์ˆœ๊ฐ„ ๋ณ€ํ™”์œจ'์ด๋ผ๊ณ  ํ•จ. ์ด ๋ฐฉํ–ฅ์„ ๋”ฐ๋ผ ์ง์„ ์„ ๊ธธ๊ฒŒ ๊ทธ๋ ค์ฃผ๋ฉด ๊ทธ๋ž˜ํ”„์˜ค ใ…๋งž๋‹ฟ๋Š” ์ ‘์„ ์ด ๊ทธ๋ ค์ง€๊ณ , ์ด ์„ ์ด ์ด ์ ์—์„œ์˜ ๊ธฐ์šธ๊ธฐ๊ฐ€ ๋จ. - ๋ฏธ๋ถ„์„ ํ•œ๋‹ค = '์ˆœ๊ฐ„ ๋ณ€ํ™”์œจ'์„ ๊ตฌํ•œ๋‹ค -..

Deep Learning 2022.11.10
728x90