【2025正規MFi認証品】i-Phone 充電ケーブル ライトニングケーブル 純正品質【1M/2M 各２本】充電器 ケーブル 2.4A急速充電 USB 充電コード 高速データ転送 断線防止 高耐久 i-Phone 14/14 Pro/13/13 Pro/12/11/X/8/8plus/7/6/iPad 各種対応
￥898 (2025年5月2日 13:14 GMT +09:00 時点 - 詳細はこちら価格および発送可能時期は表示された日付/時刻の時点のものであり、変更される場合があります。本商品の購入においては、購入の時点で当該の Amazon サイトに表示されている価格および発送可能時期の情報が適用されます。)
Anker USB Power Strip (10-in-1, 20W) (USBタップ 電源タップ AC差込口/USB-C/USB-A/延長コード 1.5m) 【PSE技術基準適合/USB Power Delivery対応 】MacBook PD対応 Windows PC iPad iPhone Galaxy Android スマートフォン ノートPC 各種 その他機器対応
￥2,990 (2025年5月2日 13:15 GMT +09:00 時点 - 詳細はこちら価格および発送可能時期は表示された日付/時刻の時点のものであり、変更される場合があります。本商品の購入においては、購入の時点で当該の Amazon サイトに表示されている価格および発送可能時期の情報が適用されます。)
Amazon Bedrockでは構築したRAGシステムをLLMを使用して評価する仕組みがあります。
RAGの評価ジョブを作成する際には、以下の2つの評価タイプを選択できます。
- 取得のみ：検索結果のみを評価する
- 取得と生成：検索結果と生成された回答を評価する
今回は「取得のみ」の方を見てみます。なお、具体的な設定方法は本記事では割愛させて頂きます。
⓪評価用データセットの準備
評価用データセットはプロンプト（質問）と正解データの組合せです。こちらに記載の通りJSONL形式で作成してS3に保存しておきます。注意点としてこちらに記載の通り、S3バケットのCORSアクセス許可の設定が必要です。下記は評価用データセットの例です。
{"conversationTurns":[{"prompt":{"content":[{"text":"貴社の製品に推奨されるサービス間隔はどれくらいですか?"}]},{"referenceResponses":[{"content":[{"text":"当社製品の推奨サービス間隔は2年です。"}]}]}]}
①関連情報の取得
評価用データセット内のプロンプト情報（上記だと貴社の製品に推奨されるサービス間隔はどれくらいですか?）を使用してナレッジベースのベクトルDBから関連情報を取得します。
②評価者モデルの呼び出し
取得した関連情報、評価表データセットのプロンプト、正解データを使用して評価者モデル用のプロンプトを作成します。このプロンプトを使用して評価者モデルを呼び出します。
③評価結果の取得
評価者モデルが評価した結果をS3バケットに保存します。
「取得のみ」タイプの評価では品質に関する下記2つのメトリクスが取得可能です。
- コンテキストの関連性：取得情報がプロンプト（質問）にどれほど関連しているか評価
- コンテキストカバレッジ：取得情報が正解データどれだけ網羅しているかを評価
これらのスコアは全会話の平均値になります。今回はテスト用に20個のデータを用意しましたが会話毎のスコアも確認することが可能です。
評価者モデルをClaude 3 Haiku（紫）からClaude 3 Sonnet（水色）に変更して評価を2回実施し結果を比較しまひた。Sonnetの方が、関連性はやや下がりましたが、コンテキストカバレッジが改善されたことが分かります。
Views: 2
USB C ケーブル 純正 1M 2本セット PD対応 60W 急速充電 USBC & USBC ケーブル データ転送 高耐久性 断線防止 映像出力不可 USB Type C to Type C けーぶる for iPhone 16/15 Pro/Plus/Pro Max、MacBook Pro/Air、iPad Pro/Air、Galaxy、PixelなどType-C機種対応
￥999 (2025年5月2日 13:06 GMT +09:00 時点 - 詳細はこちら価格および発送可能時期は表示された日付/時刻の時点のものであり、変更される場合があります。本商品の購入においては、購入の時点で当該の Amazon サイトに表示されている価格および発送可能時期の情報が適用されます。)
