テキスト埋め込みモデルの蒸留に関する調査
こんにちは！名古屋大学大学院 博士1年の矢野千紘です。
8月1日から9月30日までの2ヶ月間、株式会社レトリバのインターンに参加させていただきました。本記事ではインターンで取り組んだ、テキスト埋め込みモデルの蒸留に関する調査について紹介します。
テーマの概要
近年の言語モデルは高度化とともに大規模化が進んでいます。しかし、実応用においては大きなモデルは推論コストの観点から使いにくい場面も多いです。そこで、大きくて強いモデルを能力は維持したまま小さくしようという試みが存在します。
知識蒸留はそんな試みの一つであり、教師モデルと呼ばれる強いモ…
Source link
Views: 0
