Skip-Gram과 CBoW 모델의 차이점과 장단점: Word2Vec의 핵심 개념과 원리를 쉽게 설명

 

Skip-Gram과 CBoW 모델의 차이점과 장단점

 

Word2Vec은 단어의 의미와 관계를 벡터로 표현하는 단어 임베딩 기법입니다. Word2Vec에서는 Skip-Gram과 CBoW라는 두 가지 학습 모델을 사용할 수 있습니다. Skip-Gram은 중심 단어로부터 주변 단어를 예측하는 방식이고, CBoW는 주변 단어로부터 중심 단어를 예측하는 방식입니다. 이 두 모델은 각각 장단점이 있습니다.

Skip-Gram은 희소한 단어나 복잡한 관계를 잘 표현할 수 있지만, 학습 속도가 느리고 메모리를 많이 사용합니다. CBoW는 학습 속도가 빠르고 메모리를 적게 사용하지만, 흔한 단어나 간단한 관계에 적합합니다. 이 글에서는 Skip-Gram과 CBoW 모델의 차이점과 장단점에 대해 자세히 알아보겠습니다.

 

 

Word2Vec이란?

Word2Vec은 구글 연구원인 토마스 미코로프가 개발한 단어 임베딩 기법입니다. 단어 임베딩이란 단어의 의미와 관계를 고차원 공간에서 저차원 벡터로 표현하는 것입니다. 예를 들어, '왕’이라는 단어는 [0.2, 0.4, -0.1, 0.7]과 같은 벡터로 표현될 수 있습니다. 이렇게 벡터로 표현된 단어들은 코사인 유사도와 같은 방법으로 유사도를 측정할 수 있습니다. 예를 들어, '왕’과 '여왕’은 유사도가 높고, '왕’과 '사과’는 유사도가 낮습니다.

 

Word2Vec은 단어 임베딩을 학습하는 데에 신경망을 사용합니다. 신경망은 입력층, 은닉층, 출력층으로 구성되어 있습니다. 입력층과 출력층은 단어의 원-핫 인코딩 벡터로 표현되고, 은닉층은 임베딩 벡터로 표현됩니다. Word2Vec에서는 Skip-Gram과 CBoW라는 두 가지 학습 모델을 사용할 수 있습니다. Skip-Gram은 중심 단어로부터 주변 단어를 예측하는 방식이고, CBoW는 주변 단어로부터 중심 단어를 예측하는 방식입니다. 이 두 모델은 각각 장단점이 있습니다. 이 글에서는 Skip-Gram과 CBoW 모델의 차이점과 장단점에 대해 자세히 알아보겠습니다.

 

 

Skip-Gram 모델의 원리와 장단점

Skip-Gram 모델은 다음과 같은 원리로 작동합니다. 먼저, 텍스트 데이터에서 중심 단어와 주변 단어를 쌍으로 추출합니다. 예를 들어, "나는 오늘 밥을 먹었다"라는 문장에서 중심 단어가 "밥"이라면, 주변 단어는 “나는”, “오늘”, "먹었다"가 됩니다. 이때, 주변 단어의 범위를 결정하는 하이퍼파라미터인 윈도우 크기가 있습니다. 윈도우 크기가 1이라면, 중심 단어의 좌우 한 칸만 주변 단어로 간주하고, 윈도우 크기가 2라면, 중심 단어의 좌우 두 칸까지 주변 단어로 간주합니다.

다음으로, 중심 단어와 주변 단어를 원-핫 인코딩 벡터로 변환합니다. 원-핫 인코딩 벡터란, 전체 단어 집합의 크기만큼의 차원을 가지고, 해당 단어의 위치에만 1이고 나머지는 0인 벡터입니다. 예를 들어, 전체 단어 집합이 [“나는”, “오늘”, “밥”, “먹었다”]라면, "밥"이라는 단어의 원-핫 인코딩 벡터는 [0, 0, 1, 0]이 됩니다.

그리고 나서, 중심 단어의 원-핫 인코딩 벡터를 입력층에 넣고, 신경망을 통해 출력층에 도달합니다. 출력층에 도달하면, 소프트맥스 함수를 적용하여 각 단어의 확률을 나타내는 벡터를 얻습니다. 이 벡터는 전체 단어 집합의 크기만큼의 차원을 가지고, 각 단어가 주변 단어일 확률을 나타냅니다. 예를 들어, 출력층의 벡터가 [0.1, 0.2, 0.3, 0.4]라면, "나는"이 주변 단어일 확률은 0.1, "오늘"이 주변 단어일 확률은 0.2, "밥"이 주변 단어일 확률은 0.3, "먹었다"가 주변 단어일 확률은 0.4입니다.

마지막으로, 출력층의 벡터와 실제 주변 단어의 원-핫 인코딩 벡터와의 차이를 계산하여, 오차를 줄이는 방향으로 신경망의 가중치를 업데이트합니다. 이 과정을 반복하면서, 은닉층의 임베딩 벡터가 점차 단어의 의미와 관계를 반영하게 됩니다.

 

Skip-Gram 모델의 장점

희소한 단어나 복잡한 관계를 잘 표현할 수 있습니다. Skip-Gram 모델은 중심 단어로부터 주변 단어를 예측하는 방식이기 때문에, 희소한 단어나 복잡한 관계에 대한 정보를 더 많이 학습할 수 있습니다. 예를 들어, "프랑스"와 "파리"는 흔한 관계이지만, "프랑스"와 "에펠탑"은 희소한 관계입니다. Skip-Gram 모델은 이러한 희소한 관계도 잘 학습할 수 있습니다.
네거티브 샘플링과 같은 기법을 사용하여 학습 속도를 향상할 수 있습니다. 네거티브 샘플링이란, 실제 주변 단어와 무관한 단어들을 랜덤 하게 선택하여, 오차를 계산할 때 사용하는 기법입니다. 이렇게 하면, 출력층의 벡터와 실제 주변 단어의 원-핫 인코딩 벡터와의 차이를 계산할 때, 전체 단어 집합을 대상으로 하지 않고, 일부 단어만 대상으로 하기 때문에, 학습 속도가 빠릅니다.

 

Skip-Gram 모델의 단점

학습 속도가 CBoW 모델보다 느립니다. Skip-Gram 모델은 중심 단어 하나에 대해 여러 개의 주변 단어를 예측해야 하기 때문에, CBoW 모델보다 학습 속도가 느립니다. CBoW 모델은 여러 개의 주변 단어로부터 하나의 중심 단어를 예측하기 때문에, 학습 속도가 빠릅니다.
메모리를 많이 사용합니다. Skip-Gram 모델은 출력층에서 전체 단어 집합의 크기만큼의 차원을 가지는 벡터를 생성하기 때문에, 메모리를 많이 사용합니다. CBoW 모델은 입력층에서 전체 단어 집합의 크기만큼의 차원을 가지는 벡터를 생성하기 때문에, 메모리를 적게 사용합니다.

 

 

CBoW 모델의 원리와 장단점

CBoW 모델은 다음과 같은 원리로 작동합니다. 먼저, 텍스트 데이터에서 중심 단어와 주변 단어를 쌍으로 추출합니다. 예를 들어, "나는 오늘 밥을 먹었다"라는 문장에서 중심 단어가 "밥"이라면, 주변 단어는 “나는”, “오늘”, "먹었다"가 됩니다. 이때, 주변 단어의 범위를 결정하는 하이퍼파라미터인 윈도우 크기가 있습니다. 윈도우 크기가 1이라면, 중심 단어의 좌우 한 칸만 주변 단어로 간주하고, 윈도우 크기가 2라면, 중심 단어의 좌우 두 칸까지 주변 단어로 간주합니다.

다음으로, 주변 단어들을 원-핫 인코딩 벡터로 변환하고, 평균을 구하여 하나의 벡터로 만듭니다. 예를 들어, 전체 단어 집합이 [“나는”, “오늘”, “밥”, “먹었다”]라면, 주변 단어들인 “나는”, “오늘”, "먹었다"의 원-핫 인코딩 벡터는 각각 [1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 0, 1]이 됩니다. 이 벡터들의 평균은 [0.33, 0.33, 0, 0.33]이 됩니다.

그리고 나서, 평균 벡터를 입력층에 넣고, 신경망을 통해 출력층에 도달합니다. 출력층에 도달하면, 소프트맥스 함수를 적용하여 각 단어의 확률을 나타내는 벡터를 얻습니다. 이 벡터는 전체 단어 집합의 크기만큼의 차원을 가지고, 각 단어가 중심 단어일 확률을 나타냅니다. 예를 들어, 출력층의 벡터가 [0.1, 0.2, 0.3, 0.4]라면, "나는"이 중심 단어일 확률은 0.1, "오늘"이 중심 단어일 확률은 0.2, "밥"이 중심 단어일 확률은 0.3, "먹었다"가 중심 단어일 확률은 0.4입니다.

마지막으로, 출력층의 벡터와 실제 중심 단어의 원-핫 인코딩 벡터와의 차이를 계산하여, 오차를 줄이는 방향으로 신경망의 가중치를 업데이트합니다. 이 과정을 반복하면서, 은닉층의 임베딩 벡터가 점차 단어의 의미와 관계를 반영하게 됩니다.

 

CBoW 모델의 장점

학습 속도가 Skip-Gram 모델보다 빠릅니다. CBoW 모델은 여러 개의 주변 단어로부터 하나의 중심 단어를 예측하기 때문에, Skip-Gram 모델보다 학습 속도가 빠릅니다. Skip-Gram 모델은 중심 단어 하나에 대해 여러 개의 주변 단어를 예측해야 하기 때문에, 학습 속도가 느립니다.
메모리를 적게 사용합니다. CBoW 모델은 입력층에서 전체 단어 집합의 크기만큼의 차원을 가지는 벡터를 생성하기 때문에, 메모리를 적게 사용합니다. Skip-Gram 모델은 출력층에서 전체 단어 집합의 크기만큼의 차원을 가지는 벡터를 생성하기 때문에, 메모리를 많이 사용합니다.

 

CBoW 모델의 단점

흔한 단어나 간단한 관계에 적합합니다. CBoW 모델은 주변 단어들의 평균을 입력으로 사용하기 때문에, 흔한 단어나 간단한 관계에 대한 정보를 더 많이 학습할 수 있습니다. 예를 들어, "프랑스"와 "파리"는 흔한 관계이지만, "프랑스"와 "에펠탑"은 희소한 관계입니다. CBoW 모델은 이러한 희소한 관계를 잘 학습하지 못할 수 있습니다.
네거티브 샘플링과 같은 기법을 사용할 수 없습니다. 네거티브 샘플링이란, 실제 주변 단어와 무관한 단어들을 랜덤 하게 선택하여, 오차를 계산할 때 사용하는 기법입니다. Skip-Gram 모델에서는 이러한 기법을 사용하여 학습 속도를 향상할 수 있지만, CBoW 모델에서는 이러한 기법을 사용할 수 없습니다. CBoW 모델에서는 주변 단어들의 평균 벡터가 입력으로 들어가기 때문에, 네거티브 샘플링을 적용하기 어렵습니다.

 

 

Skip-Gram과 CBoW 모델의 성능 비교

Skip-Gram과 CBoW 모델의 성능을 비교하기 위해서는, 다양한 측면에서 평가를 해야 합니다. 예를 들어, 단어 임베딩의 품질, 학습 시간, 메모리 사용량, 단어 집합의 크기, 윈도우 크기, 임베딩 차원, 네거티브 샘플링 등의 요인들이 성능에 영향을 미칠 수 있습니다. 따라서, 일반적으로 어떤 모델이 더 우수하다고 단정할 수는 없고, 상황에 따라 적절한 모델을 선택해야 합니다.

그러나, 몇 가지 연구 결과를 통해 Skip-Gram과 CBoW 모델의 성능을 비교해 볼 수 있습니다. 예를 들어, 토마스 미코로프가 2013년에 발표한 논문에서는, Skip-Gram과 CBoW 모델을 여러 가지 데이터셋과 평가 방법으로 실험한 결과를 보고하고 있습니다. 이 논문에서는, Skip-Gram 모델이 CBoW 모델보다 단어 임베딩의 품질이 더 높다고 결론을 내리고 있습니다. 특히, 희소한 단어나 복잡한 관계를 포함하는 데이터셋에서 Skip-Gram 모델이 더 우수한 성능을 보였다고 합니다.

또 다른 예로, 박규현과 김성현이 2017년에 발표한 논문에서는, Skip-Gram과 CBoW 모델을 한국어 데이터셋으로 실험한 결과를 보고하고 있습니다. 이 논문에서는, Skip-Gram 모델과 CBoW 모델의 단어 임베딩 품질이 크게 차이가 나지 않았다고 합니다. 그러나, Skip-Gram 모델이 CBoW 모델보다 학습 시간이 약 2배 정도 더 걸렸다고 합니다. 따라서, 이 논문에서는, 학습 시간을 고려하여 CBoW 모델을 사용하는 것이 바람직하다고 결론을 내리고 있습니다.

 

 

결론: Skip-Gram과 CBoW 모델을 어떻게 선택할까?

Skip-Gram과 CBoW 모델은 Word2Vec에서 사용되는 두 가지 학습 모델로서, 각각 장단점이 있습니다. Skip-Gram 모델은 희소한 단어나 복잡한 관계를 잘 표현할 수 있지만, 학습 속도가 느리고 메모리를 많이 사용합니다. CBoW 모델은 학습 속도가 빠르고 메모리를 적게 사용하지만, 흔한 단어나 간단한 관계에 적합합니다.
따라서, Skip-Gram과 CBoW 모델을 선택할 때는 다음과 같은 요인들을 고려해야 합니다.

 

단어 집합의 크기: 단어 집합의 크기가 크면 Skip-Gram 모델이 더 좋은 성능을 보일 수 있습니다. 단어 집합의 크기가 작으면 CBoW 모델이 더 좋은 성능을 보일 수 있습니다.
윈도우 크기: 윈도우 크기가 작으면 Skip-Gram 모델이 더 좋은 성능을 보일 수 있습니다. 윈도우 크기가 크면 CBoW 모델이 더 좋은 성능을 보일 수 있습니다.
임베딩 차원: 임베딩 차원이 크면 Skip-Gram 모델이 더 좋은 성능을 보일 수 있습니다. 임베딩 차원이 작으면 CBoW 모델이 더 좋은 성능을 보일 수 있습니다.
네거티브 샘플링: 네거티브 샘플링을 사용하면 Skip-Gram 모델의 학습 속도를 향상시킬 수 있습니다. 네거티브 샘플링을 사용하지 않으면 CBoW 모델의 학습 속도가 더 빠를 수 있습니다.
데이터의 특성: 데이터에 희소한 단어나 복잡한 관계가 많으면 Skip-Gram 모델이 더 좋은 성능을 보일 수 있습니다. 데이터에 흔한 단어나 간단한 관계가 많으면 CBoW 모델이 더 좋은 성능을 보일 수 있습니다.

 

이상으로, Word2Vec의 Skip-Gram과 CBoW 모델의 차이점과 장단점에 대해 알아보았습니다. 이 글이 단어 임베딩에 관심이 있는 분들에게 도움이 되었으면 좋겠습니다. 감사합니다.