Snowflake AI_TRANSCRIBE 関数で音声データ分析の新時代へ

AI_TRANSCRIBE( audio_file> [ , options> ] )

SELECT AI_TRANSCRIBE(
    TO_FILE('@audio_stage', 'customer_call_001.wav')
);

{
  "audio_duration": 19.08,
  "text": "すみません先日購入した商品について問い合わせがあるんですけれどもよろしいでしょうかこの商品についてパッケージが破損しておりましてこれについて交換していただきたいんですけれども可能でしょうかよろしくお願いいたします"
}

SELECT AI_TRANSCRIBE(
    TO_FILE('@audio_stage', 'meeting_recording.wav'),
    {'timestamp_granularity', 'word'})
);

{
  "audio_duration": 19.08,
  "segments": [
    {
      "end": 1.254,
      "start": 0.993,
      "text": "す"
    },
    {
      "end": 1.274,
      "start": 1.254,
      "text": "み"
    },
    {
      "end": 1.434,
      "start": 1.274,
      "text": "ま"
    },
    {
      "end": 1.514,
      "start": 1.434,
      "text": "せ"
    },
    {
      "end": 2.076,
      "start": 1.514,
      "text": "ん"
    },
    ...
  ],
  "text": "す み ま せ ん 先 日 購 入 し た 商 品 に つ い て 問 い 合 わ せ が あ る ん で す け れ ど も よ ろ し い で し ょ う か こ の 商 品 に つ い て パ ッ ケ ー ジ が 破 損 し て お り ま し て こ れ に つ い て 交 換 し て い た だ き た い ん で す け れ ど も 可 能 で し ょ う か よ ろ し く お 願 い い た し ま す"
}

SELECT AI_TRANSCRIBE(
    TO_FILE('@audio_stage', 'interview_2025.mp3'),
    {'timestamp_granularity', 'speaker'})
);

{
  "audio_duration": 16.4,
  "segments": [
    {
      "end": 8.461,
      "speaker_label": "SPEAKER_00",
      "start": 0.511,
      "text": "本日はよろしくお願いします。私の名前は佐藤です。"
    },
    {
      "end": 15.153,
      "speaker_label": "SPEAKER_01",
      "start": 9.048,
      "text": "はい、よろしくお願いします。私の名前は田中です。"
    }
  ],
  "text": "本日はよろしくお願いします。私の名前は佐藤です。はい、よろしくお願いします。私の名前は田中です。"
}

import streamlit as st
import io
import uuid
import json
from datetime import datetime
from snowflake.snowpark.context import get_active_session
from snowflake.snowpark.functions import ai_complete, to_file


session = get_active_session()


STAGE_NAME = "AUDIO_TRANSCRIBE_STAGE"


st.set_page_config(layout="wide")
st.title("AI音声チャットボット")


st.sidebar.title("⚙️ 設定")


model_options = [
    "━━━ 🟢 OpenAI ━━━",
    "openai-gpt-oss-120b",
    "openai-gpt-oss-20b",
    "openai-gpt-5",
    "openai-gpt-5-mini",
    "openai-gpt-5-nano",
    "openai-gpt-5-chat",
    "openai-gpt-4.1",
    "openai-o4-mini",
    "━━━ 🔵 Claude ━━━",
    "claude-4-opus",
    "claude-4-sonnet",
    "claude-3-7-sonnet",
    "claude-3-5-sonnet",
    "━━━ 🦙 Llama ━━━",
    "llama4-maverick",
    "llama4-scout",
    "llama3.3-70b",
    "llama3.2-3b",
    "llama3.2-1b",
    "llama3.1-405b",
    "llama3.1-70b",
    "llama3.1-8b",
    "llama3-70b",
    "llama3-8b",
    "━━━ 🟣 Mistral ━━━",
    "mistral-large2",
    "mistral-large",
    "mixtral-8x7b",
    "mistral-7b",
    "━━━ ❄️ Snowflake ━━━",
    "snowflake-arctic",
    "snowflake-llama-3.3-70b",
    "snowflake-llama-3.1-405b",
    "━━━ 🔴 その他 ━━━",
    "deepseek-r1",
    "reka-core",
    "reka-flash",
    "jamba-1.5-large",
    "jamba-1.5-mini",
    "jamba-instruct",
    "gemma-7b"
]


default_model = "llama4-maverick"
default_index = model_options.index(default_model) if default_model in model_options else 1

llm_model = st.sidebar.radio(
    "AIモデルを選択",
    options=model_options,
    index=default_index,
    format_func=lambda x: x if "━━━" in x else f"  • {x}"
)


if "━━━" in llm_model:
    llm_model = "llama4-maverick"


@st.cache_resource
def setup_stage():
    """音声ファイル保存用ステージをセットアップ"""
    try:
        session.sql(f"DESC STAGE {STAGE_NAME}").collect()
    except:
        session.sql(f"""
            CREATE STAGE IF NOT EXISTS {STAGE_NAME}
            ENCRYPTION = (TYPE = 'SNOWFLAKE_SSE')
            DIRECTORY = (ENABLE = TRUE)
        """).collect()

setup_stage()


if 'messages' not in st.session_state:
    st.session_state.messages = []
    st.session_state.chat_history = ""

def extract_text_from_transcript(transcript_result):
    """AI_TRANSCRIBEの結果からテキストを抽出"""
    if isinstance(transcript_result, str) and transcript_result.startswith('{'):
        try:
            return json.loads(transcript_result).get('text', '')
        except:
            return transcript_result
    return transcript_result

def clean_ai_response(response):
    """AI応答のクリーンアップ（余分な引用符や改行コードを処理）"""
    if isinstance(response, str):
        response = response.strip('"')
        response = response.replace('\\n', '\n')
    return response

def generate_ai_response(prompt, model):
    """AI応答を生成"""
    df = session.range(1).select(
        ai_complete(model=model, prompt=prompt).alias("response")
    )
    return clean_ai_response(df.collect()[0]['RESPONSE'])


for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.markdown(message["content"])


st.subheader("音声入力")
audio_value = st.audio_input("マイクボタンをクリックして話してください")

if st.button("📤 音声を送信", disabled=(audio_value is None), use_container_width=True):
    if audio_value:
        try:
            
            with st.spinner("🎤 音声をアップロード中..."):
                audio_filename = f"audio_{datetime.now().strftime('%Y%m%d_%H%M%S')}_{uuid.uuid4().hex[:8]}.wav"
                audio_stream = io.BytesIO(audio_value.getvalue())
                session.file.put_stream(
                    audio_stream,
                    f"@{STAGE_NAME}/{audio_filename}",
                    auto_compress=False,
                    overwrite=True
                )
            
            
            with st.spinner("📝 音声を文字起こし中..."):
                query = f"""
                    SELECT AI_TRANSCRIBE(
                        TO_FILE('@{STAGE_NAME}/{audio_filename}')
                    ) as transcript
                """
                result = session.sql(query).collect()
            
            if result and len(result) > 0:
                transcribed_text = extract_text_from_transcript(result[0]['TRANSCRIPT'])
                
                if transcribed_text:
                    
                    st.session_state.messages.append({"role": "user", "content": transcribed_text})
                    st.session_state.chat_history += f"User: {transcribed_text}\n"
                    
                    
                    with st.spinner("🤖 AIが応答を生成中..."):
                        full_prompt = st.session_state.chat_history + "AI: "
                        response = generate_ai_response(full_prompt, llm_model)
                    
                    st.session_state.messages.append({"role": "assistant", "content": response})
                    st.session_state.chat_history += f"AI: {response}\n"
                    
                    st.rerun()
                else:
                    st.warning("文字起こしに失敗しました。もう一度お試しください。")
        except Exception as e:
            st.error(f"エラーが発生しました: {str(e)}")


if prompt := st.chat_input("メッセージを入力してください..."):
    
    st.session_state.messages.append({"role": "user", "content": prompt})
    st.session_state.chat_history += f"User: {prompt}\n"
    with st.chat_message("user"):
        st.markdown(prompt)
    
    
    try:
        with st.spinner("🤖 AIが応答を生成中..."):
            full_prompt = st.session_state.chat_history + "AI: "
            response = generate_ai_response(full_prompt, llm_model)
        
        st.session_state.messages.append({"role": "assistant", "content": response})
        st.session_state.chat_history += f"AI: {response}\n"
        with st.chat_message("assistant"):
            st.markdown(response)
    except Exception as e:
        st.error(f"エラーが発生しました: {str(e)}")


if st.button("🗑️ チャット履歴をクリア"):
    st.session_state.messages = []
    st.session_state.chat_history = ""
    st.rerun()