HuggingFace’s notebooks

このページは，Huggeingface の提供している Documentation notebooks を一部，日本語化したものです。

本文書のどのページも colab ノートブックとして開くことができますが (当該ページに直接ボタンがあります)，必要に応じてここにリストアップされています。

Huggingface’s notebooks

文書ノートブック

• クイックツアー Quicktour of the library, Transformers 各種 API の紹介 , クイックツアー , オリジナル quicktour.ipynb Open In Colab
• 課題のまとめ Summary of the tasks, 課題ごとの Transfomers モデルの実行方法 , 課題のまとめ , オリジナル task_summary.ipynb Open In Colab
• データの前処理 Preprocessing data, トークン化器を使ったデータの前処理方法, データ前処理 , オリジナル preprocessing.ipynb Open In Colab
• 訓練済モデルの微調整 Fine-tuning a pretrained model, Trainer を使って訓練済モデルを微調整する方法, 訓練済みモデルを微調整 train.ipynb , training.ipynb Open In Colab
• トークン化器のまとめ Summary of the tokenizers, トークン化器のアルゴリズムの違い, トークナイザーのまとめ tokenizer_summary.ipynb Open In Colab
• 多言語モデル Multilingual models, How to use the multilingual models of the library, 推論のための多言語モデル multilingual.ipynb Open In Colab
• 自前のデータセットを用いた微調整 Fine-tuning with custom datasets, How to fine-tune a pretrained model on various tasks, 一般的な下流作業のためにモデルを微調整する方法 custom_datasets.ipynb Open In Colab

PyTorch notebooks:

• トークン化器の訓練 自作トークン化器を用いた訓練方法 ゼロから独自トークン化器を訓練 , tokenizer_training.ipynb Open In Colab

• 自作言語モデルの訓練 トランスフォーマを簡単に使い始める方法 言語モデルの訓練 train a language model オリジナル language_modeling_from_scratch.ipynb Open In Colab，オリジナル

• 文書分類課題における微調整の方法 データを前処理し，全 GLUE 課題で事前訓練済モデルを微調整する方法を紹介 text_classification.ipynb Open in Colab
• 言語モデルの微調整方法 データを前処理し，因果関係のある，またはマスク化言語モデル課題で事前訓練済モデルを微調整する方法 language_modeling.ipynb Open in Colab
• トークン分類課題の微調整方法 トークン分類タスク(NER, PoS) において、データの前処理と事前学習したモデルの微調整を行う方法 token_classification.ipynb Open in Colab
• Q A 課題での微調整方法 SQUADでのデータの前処理と事前学習済みモデルの微調整方法 multiple_choice.ipynb Open in Colab
• 多分類課題での微調整方法 SWAGでのデータの前処理と事前学習モデルの微調整の方法を示す multiple_choice.ipynb Open in Colab
• 翻訳課題での微調整方法 データの前処理とWMTでの事前学習済みモデルの微調整方法 translation.ipynb Open in Colab
• 要約課題での微調整方法 データの前処理とXSUMでの事前学習済みモデルの微調整方法 summarization.ipynb Open in Colab
• 英語音声認識課題での微調整方法 データを前処理し、TIMIT 上で事前訓練された音声モデルを微調整方法 speech_recognition.ipynb , オリジナル
• How to fine-tune a speech recognition model in any language Common Voice multi_lingual_speech_recognition.ipynb Open in Colab上でデータを前処理し、複数言語の事前学習済み音声モデルを微調整する方法を示す
• 音声分類課題での微調整方法 データの前処理と、Keyword Spottingでの前処理済み音声モデルの微調整方法 audio_classification.ipynb Open in Colab
• ゼロからの言語モデルの訓練方法 カスタムデータで Transformer モデルを効果的に訓練するためのすべてのステップをハイライト 01_how_to_train.ipynb Open in Colab
• テキスト生成方法 トランスフォーマーで言語を生成するために、さまざまな復号化方法を使用する方法 02_how_to_generate.ipynb Open in Colab
• モデルを ONNX へ輸出する方法 ONNXで推論ワークロードをエクスポートして実行する方法を紹介します
• ベンチマークの方法 How to benchmark models with transformers benchmark.ipynb Open in Colab
• Reformer How Reformer pushes the limit of language modeling 03_reformer.ipynb Open in Colab