近年、大規模言語モデル（LLM）のオープンソース化が進み、大小さまざまなモデルが利用できるようになりました。
これらのモデルは汎用性が高い一方で、特定分野に特化したモデルを作るためのファインチューニングの需要も増えています。
そこで注目されているのが、パラメータ効率的ファインチューニング（PEFT）です。特にLoRA（Low-Rank Adaptation） という手法が広く使われています。LoRAは学習するパラメータ数を大幅に削減できる優れた手法ですが、フルファインチューニング（すべてのパラメータを学習する方法）と比べると性能が劣るという課題があります。
この課題を解決するため、ICL…
Source link
Views: 0
