導入
こんにちは、株式会社ナレッジセンスの須藤英寿です。
今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大５倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。
https://arxiv.org/pdf/2504.07109
サマリー
RAGは必要な情報を収集して、その情報を元に回答を生成する機能をもっていますが、多くの場合で無関係な情報を含めてLLMに渡します。これにより、LLMへの入力トークンが増加してしまい、文章の生成が完了するまでの速度と料金がより多くかかる…
Source link
Be the first to comment
