土曜日, 9月 20, 2025
土曜日, 9月 20, 2025
- Advertisment -
ホームニューステックニュースRTX3060でMoE付きTransformerの事前学習をしてみる

RTX3060でMoE付きTransformerの事前学習をしてみる




はじめに
https://aimeetup.connpass.com/event/367666/
こちらのイベントに参加するために、LLMの事前学習を実施しようと思い遊んだ結果を備忘録として残します。
イベントに参加したいけどまだ事前学習ができていない方は、こちらの内容を実施すれば3日程度で、とりあえずテキストを出力できる何かができあがります。
基本的には以下の記事の内容を参考にしましたが、一部動作しない部分の修正やカスタムなどを行い、事前学習を実施しています。
Medium.com で表示



Source link

Views: 0

RELATED ARTICLES

返事を書く

あなたのコメントを入力してください。
ここにあなたの名前を入力してください

- Advertisment -