H5 파일

• 대용량 데이터를 저장하는 데 사용되는 HDF(계층적 데이터 형식) 중 하나
• 많은 양의 데이터를 다차원 배열 형태로 저장하는 데 사용
• 형식은 주로 빠른 검색 및 분석을 위해 잘 구성된 과학 데이터를 저장하는 데 사용

사전학습(pre-training)

• 기존에 자비어(Xavier) 등 임의의 값으로 초기화하던 모델의 가중치들을 다른 문제(task)에

  학습시킨 가중치들로 초기화하는 방법

• 텍스트 유사도 예측 모델을 만들기 전 감정 분석 문제를 학습한 모델의 가중치를

  활용해 텍스트 유사도 모델의 가중치로 활용하는 방법

• 즉, 감정 분석 문제를 학습하면서 얻은 언어에 대한 이해를

  학습한 후 그 정보를 유사도 문제를 학습하는 데 활용하는 방식

전이학습(Transfer Learning)

• 어떤 목적을 이루기 위해 학습된 모델을 기반으로 최종 출력층을 바꿔 학습하는 기법.
• 즉, 모델의 지식을 다른 문제에 이용하는 것으로 볼 수 있다.

fine-tuning

• 출력층 들을 변경한 모델을 기반으로 구축한 후 직접 준비한 데이터로 신경망 모델의 결합 파라미터를 학습시키는 방법.
• 전이학습과는 달리 출력층 및 출력층에 가까운 부분뿐만 아니라 모든 층의 파라미터를 다시 학습.
• 다만 일반적으로 입력층에 가까운 부분의 파라미터는 학습률을 작게 설정하고 출력층에 가까운 부분의 파라미터는 학습률을 크게 설정합니다.

MobileNet