はじめに
こんにちは．株式会社neoAIの研究開発組織 (neoAI Research) / 東京都立大学の板井孝樹です．
昨今LLM based Agentの開発が盛んですが，実ユースケースへの応用においては多角的な評価が必要となります．そもそも”良いAgent”がどのような評価観点が求められるのかを知ることで，良い開発・価値提供が実現可能だと考えます．
本記事では，まずLLM Agentに求められる要素能力に関する評価観点についてまとめます．そしてこれらの要素能力を包括して遂行する必要のあるタスクに関する評価指標について調査します．特に昨今のビッグテックのリリース時によく用いられ…
Source link
Views: 0
