このツールは、チャットボットのメッセージが消費する電気の量を推定します

AIモデルを促したとき、または感謝しているときに使用している電気の量を疑問に思ったことはありませんか?抱きしめるフェイスエンジニアのジュリアン・デラヴァンデがやったので、彼は建てました ツール 答えに到達するのを助けるために。

AIモデルは、実行されるたびにエネルギーを消費します。それらは、関連する計算ワークロードを大規模に実行するために多くのパワーを必要とするGPUと専門のチップで実行されます。モデルの消費電力を特定するのは簡単ではありませんが、 広く 期待される AIテクノロジーの使用の増加により、今後数年間で電気のニーズが新たな高みに駆動されることがあります。

AIに燃料を供給するためのより多くの力の需要により、一部の企業が追求されました 環境的には友好的ではありません 戦略。 Delavandeのようなツールは、これに注意を向け、おそらくAIユーザーが一時停止することを目指しています。

「少量のエネルギー節約でさえ、何百万ものクエリにわたってスケールアップできます。モデルの選択または出力の長さは、大きな環境への影響につながる可能性があります」とデラバンデとツールの他のクリエイター 声明で書いた

Delavandeのツールは、Meta’s Llama 3.3 70bやGoogleのGemma 3などのモデルのオープンソースフロントエンドであるChat UIで動作するように設計されています。このツールは、ワット時間またはジュールの消費を報告するリアルタイムで送信されるメッセージのエネルギー消費を推定します。また、モデルのエネルギー使用量を、マイクロ波やLEDなどの一般的な家電製品のエネルギー使用量と比較します。

このツールによると、llama 3.3 70bに典型的な電子メールの書き込みに尋ねると、約0.1841ワット時間を使用します。これは、マイクロ波を0.12秒間実行するか、0.02秒間トースターを使用します。

ツールの推定はそれだけであることを覚えておく価値があります – 推定。デラヴァンデは、彼らが非常に正確であると主張しません。それでも、彼らはすべて(チャットボットが含まれている)にコストがあることを思い出させるものとして機能します。

「AIエネルギースコアのようなプロジェクトとAIのエネルギーフットプリントに関するより広範な研究により、私たちはオープンソースコミュニティの透明性を求めています。ある日、エネルギーの使用は食品の栄養ラベルと同じくらい見える可能性があります!」デラヴァンデと彼の共同創作者は書いた。



フラッグシティパートナーズ海外不動産投資セミナー 【DMM FX】入金

Source link