木曜日, 5月 15, 2025
No menu items!
ホーム ブログ ページ 2355

【RAG】文書をパラメータ化してLLMに直接注入する手法




本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。

この記事は何
この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本語で簡単にまとめたものです。
https://arxiv.org/abs/2503.23895
今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。
https://zenn.dev/knowledgesense/articles/47de9ead8029b…



Source link

Views: 0

Webコンポーネントについて話しましょう – Codepen


先週私 Webコンポーネントをリンクしました (公式のテクノロジーを参照するときに、キャプチャルWとキャプチャルCを実行する必要があるように感じますか?)それは画像を取得し、その「ディザード」バージョンを出力します。

なぜアンドリューはそれをWebコンポーネントにしたのですか?わかりませんが、どのように使用するかを確認してください。

  1. 1つのジョブを持つJavaScriptファイルをリンクします。Webコンポーネントのインスタンス化の使用。
  2. HTMLだけでWebコンポーネントを使用します。

のように…






Source link

Views: 0

インテリアに興味がなかった27歳男性、入居時と今の部屋を比べたら…… 衝撃のビフォアフが「どタイプすぎます!!」



インテリアに興味がなかった27歳男性、入居時と今の部屋を比べたら…… 衝撃のビフォアフが「どタイプすぎます!!」

おしゃれに大変身。



Source link

Views: 0

荷物を届けるためピックアップトラックで田舎道を走り抜ける『Truckful / トラックフル』ポケットペアがパブリッシング決定



荷物を届けるためピックアップトラックで田舎道を走り抜ける『Truckful / トラックフル』ポケットペアがパブリッシング決定

荷物を届けるためピックアップトラックで田舎道を走り抜ける『Truckful / トラックフル』ポケットペアがパブリッシング決定



Source link

Views: 0

AHC045 解法【プレテスト76位】 #競技プログラミング – Qiita



AHC045 解法【プレテスト76位】 #競技プログラミング - Qiita

AHC045の参加記です。
プレテスト39.5Gで、76位でした(推定2151 perf)

概要

  1. 占いを使って座標推定する
    1. 占いを使って辺の大小関係のDAGを作る
      1. 不確定度が高い400頂点について距離が近いL個の座標を占う
    2. 全ての2辺について違反を減らすように辺を伸ばしたり縮める(450ms)
  2. 初期解を構築する
    1. (0,0)から最遠点サンプリングでM個の代表頂点を決める
    2. 代表頂点に近い頂点の個数を数えて、各代表頂点の木のサイズを決める
    3. 各代表頂点までの距離をコストとし、最小費用流でMグループに分ける
    4. グループ、ユークリッド距離、1で作ったDAGをもとにクラスカル法でMグループのMSTを並行して作る
  3. 解をローカルサーチで改善する(余った時間。600msくらい)
    1. 山登り
      1. 近傍1:サイズが等しいサブグラフをswap
      2. 近傍2:移動してもサイズ制約を満たすサブグラフを移動
      3. 近傍3:2つのグループをマージし、グループサイズの制約を満たすよう分割
    2. 最後に2.4のMSTをやり直して仕上げる

①占いを使った座標推定

占いを使って辺の大小関係のDAGを作る

image.png

頂点集合 $\{1, 2, 3, 4, 5\}$ を占い、辺集合$\{(1,2),(1,5),(2,3),(2,4)\}$が得られたとします。上の画像のようなMST(最小全域木)です。
この時、辺$(a,b)$のユークリッド距離を$\text{dist}(a,b)$と表すことにすると

  • $\text{dist}(2,4)
  • $\text{dist}(2,3)
  • $\text{dist}(2,4)
  • $\text{dist}(1,2)
  • $\text{dist}(1,2)
  • $\text{dist}(2,3)
  • $\text{dist}(2,3)
  • $\text{dist}(1,2)
  • $\text{dist}(1,5)

が得られます。
つまり、「選ばれなかった辺は、その辺を足した時にできる閉路に含まれるどの辺よりも長い」という情報が得られます。
これはクラスカル法などの最小全域木を構築する貪欲アルゴリズムの正当性証明に出てくる議論です。

また、$\text{dist}(a,b)
そこで、辺(2頂点のペア)を頂点として、得られた大小関係を辺とするグラフを作ると、大小関係には推移律が成り立つので、DAGができます
※正確には、同じ距離がある場合にDAGにならないことがありますが、強連結成分分解すればよいです。

image.png

占いクエリについて

  • 取りうる座標面積の降順で頂点を1つ選ぶ
  • その頂点から距離が近いL個の頂点を選ぶ

を400回繰り返しています(単にこれをやると割と全く同じクエリになるので、重複除去はします)

最上位勢はより賢い方法でクエリを作っているようですが、簡単なルールの中ではいろいろ試した結果これが1番良かったのでこれにしています。
気持ちとしては、MSTを作る時に不確定度が高い頂点をどの辺で採用するかが得られやすい点が嬉しいのかなと思います。

全ての2辺について違反を減らすように辺を伸ばしたり縮める(450ms)

占いで得たDAGを全始点DFSして、「今の推定座標(初期値は長方形の中心)のユークリッド距離では$\text{dist}(a,b) > \text{dist}(c,d)$なのに、占いの結果得られたDAG上では$\text{dist}(a,b)
占いが正なので、辺$(a,b)$を縮め、辺$(c,d)$を伸ばすように頂点a,b,c,dの座標をずらします。
ずらす量は、占い結果との違反長と、各頂点の取り得る面積の比で決めます。

image.png

常に2つの辺の制約だけで決めるので、「ある処理では頂点aを左下方向に移動するけど、ある処理では頂点aを右下方向に移動する」場合は、頂点aは左右に往復しながら下方向に向かいます。まぁ時間が十分あればその辺りは上手くいきます。
頂点に掛かる全体のペナルティを見ながら焼きなますか、バネを使ったグラフ描画アルゴリズムを持ち出すとより良いのかなと思いましたが、今の手法でも占いとの矛盾は95%くらい解消されるので、実装難度と実行時間の兼ね合いで採用しませんでした。
なお、真の座標と推定座標の誤差は18%くらい解消されます。減ってますが、劇的ではないですね。このことからも「占いとの矛盾を100%解消することに力を入れても、クエリ自体を大幅改良しない限り大差ないだろう」ということが分かりました。
(真の座標は、ローカルテスターに手を加えて標準入力に渡すようにしています)
image.png

②初期解を構築する

image.png

最小費用流で、厳密な容量制約がある時のクラスタリングを解きます。

  • Source->頂点
  • 頂点->グループ
    • 容量 = 1
    • コスト = ある頂点をそのグループに割り振った時のコスト
  • グループ->Target
    • 容量 = グループのサイズ
    • コスト = 0

です。
「グループのサイズ」は、入力として与えられたM個の木のサイズです。「ある頂点をそのグループに割り振った時のコスト」は、「そのグループの代表頂点までのユークリッド距離」とします。

従って、

  • どのM個の頂点を代表頂点とするか
  • 各代表頂点は、どのサイズの木を担当するか
    を決めればよいです。
    前者については、最初を(0,0)として、「今の代表頂点集合から最も遠い頂点を代表頂点集合に加える」を繰り返しました。最遠点サンプリング(Farthest Point Sampling)というらしいです。
    後者については、800頂点について一番近いグループを求めて、近い頂点が多いグループほど大きな木を担当することにしました。

フローを流したあと

これでグループ分けが求まるので、あとはグループ外と繋がないようにクラスカル法をすればよいです。
この時、DAGの逆辺も持っておいて、「逆辺がないものだけを採用候補とする(クラスカル法が進むごとに、採用済みの辺への逆辺は削除する)」と①で解消しきれなかった辺長違反を回避できます。

方針について

  1. 全体のMSTから、辺の長い順に削除してグループ分けする
  2. プリム法やクラスカル法ベースで、全体のグループサイズの制約を見ながら構築していく
  3. 先にグループ分けして、グループ内でMSTする

この3方針があるかなと思っていました。
1は制約を満たすグループ分けが難しいと思っていましたが、実際は最上位勢はこの方針が多かったみたいです。
2は中途半端に余った頂点を遠くから取りに行かないといけないケースで弱いと思っていました。
3の中では自分の方針はかなり上手い方針なのではとコンテスト中は思っていましたが、あまり他に言及している人がいないので、単に賢いアルゴリズムを良い方針と錯覚しただけかもしれません。

TERRYさんは実装した結果棄却していました。

参考として、W=0、seed 0-99の100ケース平均は、この初期解の時点で182,281でした(③のローカルサーチを含めると164,788)。
1ページ勢はこの指標で15万を切っていて、これだけで10%くらい差が付いているみたいです。

解をローカルサーチで改善する(余った時間。600msくらい)

山登りをしました(近傍評価に対して時間が短く、焼くよりも山登りの方が良かったので)

近傍1:サイズが等しいサブグラフをswap

image.png

赤い3頂点の部分木をswap可能です。

近傍2:移動してもサイズ制約を満たすサブグラフを移動

image.png

サイズ5の木からサイズ4の木にサイズ1の部分木を移動しても、グループの制約は崩れません。

近傍3:2つのグループをマージし、グループサイズの制約を満たすよう分割

image.png

2つのグループをマージしてからサイズ4の部分木を切り離しても、グループの制約は崩れません。

最後にMSTをやり直して仕上げる

  • 山登り中は辺長違反を気にせずにユークリッド距離でswapしている
  • グループ内がMSTになっているとは限らない
    ので、②と同様に占い結果を使ったMSTで仕上げます。

おわり

一旦以上です。
システムテスト、各解説記事、解説放送を踏まえて感想とupsolveを追記予定です。





Source link

Views: 0

最大4人で巨岩を山頂まで押して登る”苦行”ゲーム『Pushing it! Together』4月10日に発売へ。少し手がすべるだけでふりだしに戻る鬼畜ぶりで、味方をひっぱたくシステムも実装。なお、モデルはギリシャ神話「シーシュポス」




少し手がすべるだけでふりだしに戻る鬼畜ぶり。ギリシャ神話に登場する神々を怒らせた男「シーシュポス」が元ネタ



Source link

Views: 0

ほのぼの車掌シム『Locomoto』リリース。美しい景色を駆ける列車で動物たちに素晴らしい旅を提供




日本語にも対応しています。



Source link

Views: 0

『クッキーラン:冒険の塔』攻略おすすめ編成。クリームソーダ味クッキーが序盤最強!



『クッキーラン:冒険の塔』攻略おすすめ編成。クリームソーダ味クッキーが序盤最強!



Source link

Views: 0

“努力せず簡単に手に入る”高カロリー食品だと快楽は低下、肥満になりやすい マウス実験で検証



“努力せず簡単に手に入る”高カロリー食品だと快楽は低下、肥満になりやすい マウス実験で検証

米UCバークレーやスイスのチューリッヒ大学などに所属する研究者らは、高カロリー食品は、ヒトと動物の両方に快楽をもたらすが、長期間の摂取はその快楽価値を低下させ、肥満に寄与する可能性を示した研究報告を発表した。



Source link

Views: 0

「炎炎ノ消防隊×NATSLIVE」テイクアウト企画「炎炎祭petit」開催!スイーツ・ドリンク・第8消防隊のグッズが登場


「炎炎ノ消防隊×NATSLIVE」炎炎祭petit

「炎炎ノ消防隊×NATSLIVE」炎炎祭petit詳細

本コラボは、第8消防隊のメンバーがパティシエ衣装に身を包んだスペシャルなコラボ企画。

 

テイクアウトのスイーツやドリンクに加え、購入特典やグッズも用意されています。

 

 

コラボメニュー

「炎炎ノ消防隊×NATSLIVE」炎炎祭petit コラボメニュー

引用:「NATSLIVE」公式サイト

 

デザート&フード(各1,100円税込)

森羅イダーキックミルフィーユ
紫電一閃チーズケーキ
日輪ブラウニー

 

ドリンク(各770円税込)

シンラのヒーローソルティライチ
アーサーの騎士道ロイヤルミルクティー
桜備のプロテインミックスジュース
火縄のクールレモネード
マキの乙女はちみつベリージュース
紅丸の人情グレープジュース

 

 

特典情報

店頭で1,000円(税込)ごとにお会計でトレーディングカード(全6種)が1枚プレゼントされます!
※ランダム配布のため絵柄は選べません

 

 

コラボグッズ

「炎炎ノ消防隊×NATSLIVE」炎炎祭petit デフォルメアクリルスタンド

引用:「NATSLIVE」公式サイト

 

デフォルメアクリルスタンド(ランダム):1,100円(税込)
デフォルメアクリルスタンド(6種セット):6,600円(税込)

 

 

「炎炎ノ消防隊×NATSLIVE」炎炎祭petit デフォルメアクリルコースター

引用:「NATSLIVE」公式サイト

 

デフォルメアクリルコースター(ランダム):770円(税込)
デフォルメアクリルコースター(6種セット):4,620円(税込)

 

 

「炎炎ノ消防隊×NATSLIVE」炎炎祭petit デフォルメ缶バッジ

引用:「NATSLIVE」公式サイト

 

デフォルメ缶バッジ(ランダム):550円(税込)
デフォルメ缶バッジ(6種セット):3,300円(税込)

 

なお、テイクアウト限定企画ですが、事前予約が必要なので公式サイトをご確認ください。

 



Source link

Views: 0