๐ข Lagrange, DeepProve x Google Gemma 3 ๊ฒ์ฆ ์ฑ๊ณต #kol
โ
Gemma3?
- Google์ Gemma3๋ ๋จ์ํ GPT์์ ๋์๊ฐ ๋ ๊ฐ๋ณ๊ณ ๋น ๋ฅธ ๋ชจ๋ธ
- ๋ก์ปฌ ๋จ๋ง๊ธฐ์์ ์ง์ ์คํ ๊ฐ๋ฅ
- ํจ์จ์ ์ผ์๋ก ๊ฒ์ฆ ๋์ด๋๊ฐ ์์นํจ
- DeepProve๊ฐ Gemma3์ ์์ง์์ฆ๋ช
(ZKP) ์ ์ฉ
- ์ต์ ์ AI๋ ์ํธํ์ ์ ๋ขฐ์ฑ ํ๋ณด ๊ฐ๋ฅํจ์ ์
์ฆ
โ
์ด๋ป๊ฒ ํ๋?
- Grouped Query Attention (GQA): ํจ๋ฉ ๊ธฐ๋ฐ ์ฆ๋ช
๊ตฌ์กฐ ์ฌ์ค๊ณ๋ก ๋ถํ์ ์ฐ์ฐ ์์ด ํจ์จ์ ์ฆ๋ช
- ๋ก์ปฌ + ๊ธ๋ก๋ฒ ์ดํ
์
: ๋ง์คํน ๋ถ๋ฆฌ, ๊ต์ฐจ ๋ ์ด์ด๋ ์ ํํ๊ฒ ์ฆ๋ช
- RoPE ์์น ์ธ์ฝ๋ฉ: Hadamard + ์ปค๋ฐ๋จผํธ ํ์ฉ์ ํตํ ์ํ์ค ๊ธธ์ด ํ์ฅ์๋ ์ค์ผ์ผ๋ง ๊ฐ๋ฅ
- RMSNorm Everywhere: ๋ธ๋ก๋น 6์ค ์ ๊ทํ์๋ ๋น ๋ฅธ ์ฆ๋ช
์ ์ง
- GeGLU ํ์ฑํ: ์ต์ํ์ ๊ตฌํ์ผ๋ก ์ฆ๋ช
ํดํท ํ์ฅ
โ
๊ธฐ๋ํจ๊ณผ
- ๊ฐ๋ฐ์: ์ต์ ์ํคํ
์ฒ vs ๊ฒ์ฆ์ฑ ์ ํํ ํ์ ์์ด ์ต์ ๋ชจ๋ธ๋ก ์ฆ๋ช
๊ฐ๋ฅ
- ๊ธฐ์
: ํ์ ๊ณผ ํจ๊ป ์ปดํ๋ผ์ด์ธ์ค, ์ ๋ขฐ์ฑ ๋์ ์ถฉ์กฑ
- ์ฌํ: ๋ชจ๋ธ์ด ๋๋ํด์ง์๋ก, ์์ ์ฑ๋ ํจ๊ป ํ๋ณด
- ์์ผ๋ก AI์ ์๋๋ ํ๋ผ๋ฏธํฐ ์๋ ์ง์ฐ์๋๋ก๋ง ํ๊ฐ๋์ง ์์ ๊ฒ
- ์์ผ๋ก์ ๊ธฐ์ค์ ์ฆ๋ช
๊ฐ๋ฅ์ฑ(Provability)
- DeepProve์ Gemma 3 ๊ฒ์ฆ์ ๊ทธ ๋ฏธ๋๊ฐ ์ด๋ฏธ ํ์ค์์ ๋ณด์ฌ์ฃผ๋ ์ฌ๋ก
์๋ฌธ|๋ธ๋ก๊ทธ

673
4์๊ฐ ์