Amazon S3 Vectorsで激安RAGシステムを構築する

aws s3vectors delete-vector-bucket --vector-bucket-name "your-s3-vector-bucket" --region us-east-1

aws s3vectors delete-index --vector-bucket-name "your-s3-vector-bucket" --index-name "your-s3-vector-index" --region us-east-1

import os
import uuid
from pathlib import Path

import boto3
from langchain_aws.embeddings import BedrockEmbeddings
from langchain_text_splitters import MarkdownTextSplitter
from tqdm import tqdm


def create_index() -> None:

    (省略)

    bedrock_client = boto3.client("bedrock-runtime", "us-east-1")
    embedding_model = BedrockEmbeddings(
        client=bedrock_client,
        model_id="amazon.titan-embed-text-v2:0",
    )

    vectors = []
    print("● Create vectors from source text...")

    for chunk in tqdm(chunks):
        vectors.append(
            {
                "key": str(uuid.uuid4()),
                "data": {
                    "float32": embedding_model.embed_query(chunk),
                },
                "metadata": {
                    "text": chunk,
                    "title": title,
                },
            }
        )

    s3vectors_client = boto3.client("s3vectors", "us-east-1")
    s3vectors_client.put_vectors(
        vectorBucketName=os.environ["VECTOR_BUCKET_NAME"],
        indexName=os.environ["VECTOR_INDEX_NAME"],
        vectors=vectors,
    )

    print(f"● Successfully stored {len(vectors)} vectors")

    return None

import os

import boto3
from langchain_aws import BedrockEmbeddings


def query(question: str) -> None:
    bedrock_client = boto3.client("bedrock-runtime", "us-east-1")
    embedding_model = BedrockEmbeddings(
        client=bedrock_client,
        model_id="amazon.titan-embed-text-v2:0",
    )
    embedding = embedding_model.embed_query(question)

    s3vectors_client = boto3.client("s3vectors", "us-east-1")
    response = s3vectors_client.query_vectors(
        vectorBucketName=os.environ["VECTOR_BUCKET_NAME"],
        indexName=os.environ["VECTOR_INDEX_NAME"],
        queryVector={
            "float32": embedding,
        },
        topK=3,
        returnMetadata=True,
        returnDistance=True,
    )

    for vector in response["vectors"]:
        print(vector)

❯ uv run tools/query.py -q "白笛の探窟家について教えて！"
{'key': '5fd10254-0545-4b50-9ef1-4d17ae55a9a8', 'metadata': {'text': '(省略) 白笛\n\n探窟家における最高位。限界深度は無制限。この位に到達した探窟家は数えるほどしかおらず、白笛の探窟家はみな“伝説的英雄”と称される。\n\n国外の者も、手続きを踏んで鈴付きから始めれば笛とライセンスを取得できる。(省略)', 'title': 'メイドインアビス'}, 'distance': 0.556890606880188}
{'key': '6a263fb0-020f-4ccb-8861-637c818150c8', 'metadata': {'text': '(省略) 最高位の探窟家である白笛は「**奈落の星**(ネザースター)」とも呼ばれ、また各人ごとに「○○卿」という異名が付く（「○○卿」は公的に探窟家組合の名簿に掲載される称号、「動かざるオーゼン」などの二つ名は新聞や世間が呼ぶ通称から定着したもの[19]）。物語開始時点では、「不動卿」動かざるオーゼン\n、「黎明卿」新しきボンドルド 、「神秘卿」神秘のスラージョ\n、「先導卿」選ばれしワクナ及びラストダイブ中（5話以降は笛がアビスから帰ったため公的には死亡扱い）の「殲滅卿」殲滅のライザの五人が現職の白笛として判明している。(省略)', 'title': 'メイドインアビス'}, 'distance': 0.6135679483413696}
{'key': '2a45b5ef-4633-49c1-bd75-62b7cece14df', 'metadata': {'text': '(省略) 母と同じ白笛を目指しており、アビスの底に思いを馳せている。10年ぶりに発見された母の笛と伝言をきっかけに、アビスの底を目指すことを決意する[23]。(省略)', 'title': 'メイドインアビス'}, 'distance': 0.6537579298019409}

import json
import os

import boto3
import xmltodict
from langchain_aws.chat_models import ChatBedrockConverse
from langchain_aws.embeddings import BedrockEmbeddings
from langchain_core.messages import HumanMessage, SystemMessage

VECTOR_BUCKET_NAME = os.environ["VECTOR_BUCKET_NAME"]
VECTOR_INDEX_NAME = os.environ["VECTOR_INDEX_NAME"]


def handler(event, context):
    request = json.loads(event["body"])
    question = request["question"]

    bedrock_client = boto3.client("bedrock-runtime", "us-east-1")
    embedding_model = BedrockEmbeddings(
        client=bedrock_client,
        model_id="amazon.titan-embed-text-v2:0",
    )
    embedding = embedding_model.embed_query(question)

    s3vectors_client = boto3.client("s3vectors", "us-east-1")
    response = s3vectors_client.query_vectors(
        vectorBucketName=os.environ["VECTOR_BUCKET_NAME"],
        indexName=os.environ["VECTOR_INDEX_NAME"],
        queryVector={
            "float32": embedding,
        },
        topK=3,
        returnMetadata=True,
        returnDistance=True,
    )

    xml_docs = xmltodict.unparse(
        {
            "documents": {
                "document": [
                    {
                        "text": vector["metadata"]["text"],
                    }
                    for vector in response["vectors"]
                ]
            }
        },
        full_document=False,
        pretty=True,
    )

    messages = [
        SystemMessage(
            (
                "あなたはメイドインアビスと呼ばれる作品に関する質問に回答するチャットボットです。\n"
                "参考となるドキュメントに記載されている内容に基づいて回答を生成してください"
            )
        ),
        HumanMessage((f"# 参考ドキュメント\n{xml_docs}\n# 質問\n{question}")),
    ]

    model = ChatBedrockConverse(
        client=bedrock_client,
        model="us.anthropic.claude-sonnet-4-20250514-v1:0",
    )
    response = model.invoke(messages)
    answer = response.content

    return {
        "statusCode": 200,
        "body": json.dumps({"answer": answer}, ensure_ascii=False),
    }

  PolicyDocument:
    Version: "2012-10-17"
    Statement:
      - Effect: "Allow"
        Action: 
          - "bedrock:InvokeModel"
          - "s3vectors:GetVectors"
          - "s3vectors:QueryVectors"

curl -X POST "your-endpoint-domain" -d '{"question": "白笛の探窟家について教えて！"}'

answerだけ抜粋

メイドインアビスの白笛について詳しく説明しますね！
白笛とは
白笛は探窟家における最高位のランクで、限界深度は無制限です。この位に到達した探窟家は数えるほどしかおらず、みな「伝説英雄」と称されています。
白笛の特別な呼び方

「奈落の星（ネザースター）」とも呼ばれます
各人ごとに「○○卿」という公式の異名が付きます
さらに「動かざるオーゼン」 などの二つ名も持っています

現職の白笛たち（物語開始時点）

「不動卿」動かざるオーゼン
「黎明卿」新しきボンドルド
「神秘卿」神秘のスラージョ
「先導卿」選ばれしワク ナ
「殲滅卿」殲滅のライザ（ラストダイブ中で公的には死亡扱い）

白笛の特殊な笛
白笛が持つ笛は他のランクと大きく異なります：

二級遺物「ユアワース」（命を響く石）を加工して作られている
深界六層降への立ち入りや特定の遺物を起動するキーの役割
所有者個人に合わせて特殊な原料・製法で生成
所有者以外では機能しない仕組み

主人公リコの母ライザも白笛の一人で、リコは母と同じ白笛を目してアビスの底を目指しています！