PyTorchの自然言語処理（NLP）系データ処理ライブラリである，torchtextでどうしても交差検証をしたい人のためのTipsです．scikit-learnライクな，交差検証をしやすいライブラリとして有名である，skorchは使いません．

BERTの基本構成要素となっていることで，ますますの注目を集めている，Attention is All You Need（Transformer）の論文メモ書きを共有・紹介します．

「ゼロから作るDeep Learning」とともに深層学習フレームワークを学ぶプロジェクト第五弾として、畳み込みニューラルネットワークをKerasで実装し、CIFAR10の分類実験に取り組みます。

「ゼロから作るDeep Learning」とともに深層学習フレームワークを学ぶプロジェクト第四弾として、深層学習において重要な学習テクニックをKerasで実際に使ってみることで、それらの効果を体験します。

「ゼロから作るDeep Learning」とともに深層学習フレームワークを学ぶプロジェクト第三弾として、Kerasで2層ニューラルネットワークを実装し、データセットを活用したモデルの学習と分類実験を行います。

「ゼロから作るDeep Learning」とともに深層学習フレームワークを学ぶプロジェクト第二弾として、Kerasで3層ニューラルネットワークの実装と手書き数字認識に取り組みます。

「ゼロから作るDeep Learning」とともに深層学習フレームワークを学ぶプロジェクト第一弾として、Kerasの環境整備とパーセプトロンの実装を行います。

NAACL 2018でベストペーパーアワードに輝いた，Deep contextualized word representations（通称ELMo）の論文メモ書きを共有・紹介します．

Self Attentionの重みを、Pythonのライブラリである「Matplotlibとseaborn」を活用して可視化する方法について紹介します。モデルの実装は、PyTorchに基づきます。

Key-Value型のAttentionを活用した言語モデルに関する論文：「Frustratingly Short Attention Spans in Neural Language Modeling」の論文のメモ書きを共有・紹介します．