はじめに 「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき(?)のために、参考になりそうなサイトをまとめておきます。 個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル 良さそう。 NLP2024-チュートリアル3-作って学ぶ 日本語大規模言語モデル Neural Networks: Zero to Hero Andrej Karpathyさんの動画。英語ですが、すごい良さそう Karparthyさんのリポジトリ 同じくKarpathyさんのnanoGPT Llama Llamaの情報 GENIAC 小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習 Attention Attentionをスクラッチで作るリポジトリ 必要な知識や環境構築 LLMを作るために必要な
