「自然言語処理分野における最近の進歩と心理学への示唆」

  • 日時: 2020 年8 月 27 日 10:00-
  • 場所: オンライン

謝辞

講演の機会を与えていただきました中央大学緑川晶先生，重宗弥生先生に感謝申し上げます。

スライド

  1. BERT 入門
  2. 心理学に現れた注意のまとめ



予備的資料

簡単なデモ (プレイグラウンド)

Colab ファイル

PyTorch Tutorials などの資料の翻訳です。

  1. PyTorch 入門 Introduction to PyTorch
  2. PyTorch による深層学習 Deep Learning with PyTorch
  3. 単語埋め込み:語彙的意味の符号化 Word Embeddings: Encoding Lexical Semantics
  4. 系列モデルと LSTM Sequence Models and Long-Short Term Memory Networks
  5. 動的意思決定と双方向 LSTM 条件付き確率場 Advanced: Making Dynamic Decisions and the Bi-LSTM CRF


  1. PyTorch チュートリアルのトランスフォーマーチュートリアル
  2. PyTorch による単語言語モデル
  3. トランスフォーマー解説


PyTorch の チュートリアルを翻訳しました。 歴史的な経緯を考えれば，(1) RNN (such as SRN, LSTM, and GRU) による文，あるいは句表現, (2) Seq2Seq (a.k.a エンコーダ-デコーダ) モデルによる翻訳モデル， (3) Seq2Seq への注意の導入, (4) トランスフォーマー (マルチヘッド自己注意) モデル， となります。ですので，このような基本的な流れは，以下のチュートリアルを実行することで フォローすることができると考えられます。

  1. トランスフォーマーを用いた seq2seq モデル
  2. ゼロからの自然言語処理 文字レベルRNN による苗字名の言語識別
  3. ゼロからの自然言語処理 文字レベルRNN による苗字名の言語生成
  4. ゼロからの NLP: 注意つきの seq2seq ネットワークによる翻訳
  5. TorchText によるテキスト分類
  6. TorchText による言語翻訳


2019CNPS 資料より

以下は 2019年度 認知神経心理学研究会 に掲載された資料の抜粋です。

その他

  1. 失語・失読に関する神経心理学モデルの基礎
  2. 計算論的神経心理学
  3. ICLR2020オンライン読み会 講演資料 注意モデルの変遷と展開 2020年6月14日 エクサウィザーズ社 主催

書籍

  1. ディープラーニング，ビッグデータ，機械学習あるいはその心理学
  2. Python で体験する深層学習
  3. 深層学習教科書 ディープラーニング G検定（ジェネラリスト） 公式テキスト
  4. AI白書 2019, 2018