Attention
우리가 일상에서 사용하는 언어는 사실 고도의 '눈치 게임'입니다. 예를 들어 'mole'이라는 단어를 들었을 때, 여러분은 무엇을 떠올리시나요? 누군가는 땅속의 '두더지'를, 누군가는 화학 시간의 '분자 단위'를, 또 누군가는 피부에 난 '점'을 떠올릴 겁니다. 우리는 주변 단어들을 통해 이 모호함을 순식간에 해결하지만, 컴퓨터에게 이 '문맥(Context)'을 가르치는 것은 오랜 난제였습니다.2017년 등장한 '트랜스포머(Transformer)' 모델은 이 문제를 혁신적으로 해결하며 현대 AI의 심장이 되었습니다. 그 비결은 바로 어텐션(Attention) 메커니즘에 있습니다. 2. 고정된 의미는 없다: 임베딩 공간 속의 '이동'AI가 처음 단어를 받아들이면, 이를 고차원 공간상의 점인 '임베딩(Emb..