【国内正規品】MonsGeek(モンスギーク) FUN60 Pro SP 有線モデル HEセンサー 0.01mm ラピッドトリガー対応 磁気スイッチ Akko Glare Magnetic Switch 英語配列 テンキーレス サイドプリント 有線8K ホットスワップ SnapKeys (SOCD)対応 ARGB対応 高コスパ ゲーミングキーボード Black
¥5,980 (2025年4月26日 13:05 GMT +09:00 時点 - 詳細はこちら価格および発送可能時期は表示された日付/時刻の時点のものであり、変更される場合があります。本商品の購入においては、購入の時点で当該の Amazon サイトに表示されている価格および発送可能時期の情報が適用されます。)
導入
こんにちは、株式会社ナレッジセンスの須藤英寿です。
今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大5倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。
https://arxiv.org/pdf/2504.07109
サマリー
RAGは必要な情報を収集して、その情報を元に回答を生成する機能をもっていますが、多くの場合で無関係な情報を含めてLLMに渡します。これにより、LLMへの入力トークンが増加してしまい、文章の生成が完了するまでの速度と料金がより多くかかる…
Source link