NLP (2) ์ธ๋ค์ผํ ๋ฆฌ์คํธํ ์ฌ๋ฆฌ ์ผ์ด ์ฑ๋ด(kogpt2, kobert) ๊ตฌํํด ๋ฐฐํฌํด๋ณด์ [1] kogpt2 ๊ธฐ๋ฐ ์ฌ๋ฆฌ ์ผ์ด ์ฑ๋ด ํ์ค ์ค๋ช KoGPT2 ๋ชจ๋ธ์ ๋ฌธ์ฅ์ "์์ฑ"ํด๋ด๋ ๋ชจ๋ธ์ ๋๋ค. ์ฌ๋ฆฌ ์ผ์ด ๋ชฉ์ ์ ์ฑ๋ด์ ๊ตฌํํ๊ธฐ ์ํด ์ ๋ ฅ ๋ฐ์ ๋ด์ฉ์ ๋ํด ์๋กํ๊ฑฐ๋ ๊ณต๊ฐํ๊ฑฐ๋ ๋ถ๋๋ฌ์ด ํํ์ผ๋ก ๋ฐ์ํ๊ณ ๋ฌธ์ฅ์ ์์ฑํด๋ด๋๋ก ํ์ธ ํ๋์ ์งํํ์ต๋๋ค. ํ์ต ์ฝ๋ ๋งํฌ์ ๋๋ค. ์ฌ์ฉํ ๋ฐ์ดํฐ์ 1. ai hub ์ ๊ณต, ์ฐ๋์ค ๋ํ ์คํฌ๋ฆฝํธ ๋ฐ์ดํฐ์ AI hub > ์ธ๋ถ๋ฐ์ดํฐ > KETI R&D๋ฐ์ดํฐ >์ธ์๊ธฐ์ (์ธ์ด์ง๋ฅ) > ์ฐ๋์ค ๋ํ ์คํฌ๋ฆฝํธ ๋ฐ์ดํฐ์ 2. @songys (์ก์์๋) ์ ๊ณต, ์ฑ๋ด ๋ฐ์ดํฐ์ ๋ ๋ฐ์ดํฐ๋ฅผ ์๋์ ๋ฐ์ดํฐ ํ์์ ๋ง๊ฒ ๊ฐ๊ณตํ์ต๋๋ค. ํ์ต ํ๊ฒฝ colab ๊ธฐ๋ณธ ํ๊ฒฝ์์๋ ๊ฐ๋ฅํฉ๋๋ค๋ง, ์๊ฐ์ด ๊ฝค ์ค๋๊ฑธ๋ฆฌ๋ ํธ์ ๋๋ค! 1 epoch์ 15~16๋ถ ์ ๋ ๊ฑธ๋ฆฌ๋๋ฐ epoch ์ต.. [Python, KoBERT] ๋ค์ค ๊ฐ์ ๋ถ๋ฅ ๋ชจ๋ธ ๊ตฌํํ๊ธฐ (huggingface๋ก ์ด์ ๋ฐฉ๋ฒ O) 1. BERT, KoBERT๋? ๊ตฌ๊ธ์์ 2018๋ ์ ๊ณต๊ฐํ BERT๋ ๋ฑ์ฅ๊ณผ ๋์์ ์๋ง์ NLP ํ์คํฌ์์ ์ต๊ณ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ๋ฉด์ NLP์ ํ ํ์ ๊ทธ์ ๋ชจ๋ธ๋ก ํ๊ฐ๋ฐ๊ณ ์๋ค. ์๋ฐฉํฅ์ฑ์ ์งํฅํ๊ณ ์๊ธฐ ๋๋ฌธ์ด๋ค.(B: bidirection) BERT ๋ชจ๋ธ์ ๋ฌธ๋งฅ ํน์ฑ์ ํ์ฉํ๊ณ ์๊ณ , ๋์ฉ๋ ๋ง๋ญ์น๋ก ์ฌ์ ํ์ต์ด ์ด๋ฏธ ์งํ๋์ด ์ธ์ด์ ๋ํ ์ดํด๋๋ ๋๋ค. ํ์ง๋ง BERT๋ ํ๊ตญ์ด์ ๋ํด์ ์์ด๋ณด๋ค ์ ํ๋๊ฐ ๋จ์ด์ง๋ค๊ณ ํ๋ค. ์ค๋ ๊ธฐ์ ํด๋ณผ KoBERT ๋ชจ๋ธ์ SKTBrain์์ ๊ณต๊ฐํ๋๋ฐ, ํ๊ตญ์ด ์ํค 5๋ฐฑ๋ง ๋ฌธ์ฅ๊ณผ ํ๊ตญ์ด ๋ด์ค 2์ฒ๋ง ๋ฌธ์ฅ์ ํ์ตํ ๋ชจ๋ธ์ด๋ค. ์์ ์ ์ฌ์ฉ ๋ชฉ์ ์ ๋ฐ๋ผ ํ์ธํ๋์ด ๊ฐ๋ฅํ๊ธฐ ๋๋ฌธ์ output layer๋ง์ ์ถ๊ฐ๋ก ๋ฌ์์ฃผ๋ฉด ์ํ๋ ๊ฒฐ๊ณผ๋ฅผ ์ถ๋ ฅํด๋ผ ์ ์๋ค. ๋ง์ BERT .. ์ด์ 1 ๋ค์