2022 メモ
目次
2022_0501
- 機械学習 ML と自然言語処理 NLP 研究 2021 年ハイライト 4月20日に Slack にてお送りした文の全訳になります。
- 連続空間からのテキスト生成 変分自己符号化器モデル (VAE) を用いて文生成を行うモデルの提案
- OpenAI GPT モデルの旅 GPT モデルの概説
- 変分自己符号化器 (VAE:Variational Auto Encoders) の理解 VAE の解説記事
- ベイズ推論問題 MCMC と変分推論 上の VAE 解説に加えて広くベイズモデルとの関連にまで言及した記事
- Sentencepiece : ニューラル言語処理向けトークナイザ (開発者工藤さんによる Qiita 記事) トークンに依存しないモデルについて言及されている sentence piece について。こちらは BERT でも採用されているトークン化手法となります。
- Byte Pair Encoding (wikipedia) sentenceバイト対符号化。
- 文字戦争 (Char Wars) 文字か単語かの論争についてのエッセイ
- 宇宙人の夢: アートシーンの出現 (プロンプトの例 CLIP による絵画生成)
異なる課題で微調整を行うための入力変換。
すべての構造化された入力をトークン列に変換し，事前学習されたモデルで処理し，線形＋ソフトマックス層が続く。
(Radford, 2018, GPT 論文 Fig.1 より)
テキスト2テキストの模式図。
翻訳，質問応答，分類など，考えられるすべての課題で，モデルにテキストを入力として与え，モデルを訓練して何らかの
目標テキストを生成するように設定されている。
これにより，様々な課題で同じモデル，損失関数，ハイパーパラメータなどを使用することができる。
また，実証実験に含まれる手法の標準的なテストベッドにもなっている。
**T5** とは提案モデルを指し **T**ext-**t**o-**T**ext **T**ransfer **T**ransformer である。
Rafffel, 2019, Fig.1 より
2022_0410
… To Iwashita-sensei and Yoshihara-sensei with my respect