기존 딥러닝의 문제점

• 처음부터 많은 학습 데이터를 확보해서 학습하는 것이 어렵고 성능이 좋은 모델을 만들려면 막대한 비용과 시간이 소요되기 때문에 현실적으로 쉽지 않다.
• 물론 딥러닝 자체가 이산화탄소를 배출하진 않는다.
• 핵심은 전력이다. 딥러닝을 돌릴 때 서버와 GPU를 사용하기 때문에 이산화탄소를 배출하는 환경문제가 발생

전이학습의 장점

• 어떠한 지식을 인공지능에게 학습시킨 후에 유사하거나 새로운 지식들의 문제 해결에 응용이 가능하다면, 획기적으로 문제 해결 속도나 비용을 개선시킬 수 있는 장점이 존재

• 이미 사전에 학습된 모델을 사용함으로써 앞서 대용량 데이터 학습 시 필요한 교육의 양을 크게 줄여 에너지 소비와 CO2배출량을 줄일 수 있습니다.

  

사전학습(pre-training)

• 기존에 자비어(Xavier) 등 임의의 값으로 초기화하던 모델의 가중치들을 다른 문제(task)에

  학습시킨 가중치들로 초기화하는 방법

• 텍스트 유사도 예측 모델을 만들기 전 감정 분석 문제를 학습한 모델의 가중치를

  활용해 텍스트 유사도 모델의 가중치로 활용하는 방법

• 즉, 감정 분석 문제를 학습하면서 얻은 언어에 대한 이해를

  학습한 후 그 정보를 유사도 문제를 학습하는 데 활용하는 방식

사전 학습 모델(pre-trained model): 내가 풀고자 하는 문제와 비슷하면서 사이즈가 큰 데이터로 이미 학습이 되어 있는 모델

Fine-tuning : 사전 학습 모델의 가중치를 미세하게 조정하는 기법이며, 새롭게 분류하려는 데이터의 종류와 전체 개수를 미리 분석한 후에, 그것을 바탕으로 사전 학습 모델 가중치 일부만을 재 학습 시키거나 또는 모든 가중치를 처음부터 다시 학습 시킬 수도 있다.