keras tuner 2019年10月末にメジャーリリースされたkeras tunerを試してみたいと思います。 github.com できること 機械学習モデルのハイパーパラメータの探索

本記事の目的 Reformerの著者実装 (Trax) を使ってみる！！！ Traxで学習・推論するための一連の流れをまとめる Reformerとは Transformerの大幅な計算効率の向上・省メモリ化に成功

hugging faceのtransformersというライブラリを使用してBERTのfine-tuningを試しました。日本語サポートの拡充についてざっくりまとめて、前回いまいちだった日本語文書分類モデルを今回追加された学習済みモデル (bert-base-japanese, bert-base-japanese-c…

現在、NLPの分野でも転移学習やfine-tuningで高い精度がでる時代になっています。 おそらく最も名高いであろうBERTをはじめとして、競ってモデルが開発されています。 BERTは公式のtensorflow実装は公開されてありますが、画像分野の転移学習モデルに比べる…

不均衡データに対する対処法であるダウンサンプリングについて調べました。

kerasで学習済みword2vecをモデルに組み込む方法を紹介します。word2vecなどで学習した分散表現（token id毎のベクトル値）をkerasのembedding layerの重みに設定し、新たに学習させないように指定するという流れです。こうすることで、word2vecによる特徴量…

Preferred Network(PFN)が作ったハイパーパラメータ自動最適化ツール「Optuna」を超絶簡単に使うためのラーパー関数をつくりました。モデル名、モデルオブジェクト、引数名と型、範囲の5つをペタペタ書くだけでよしなに最適化してくれるようになりました。一…

metric learningで有用なL2 Softmax Lossについて調べた。 mnist datasetをNeural Networkで特徴空間に写し、Siamese network (距離関数で手書き文字の類似度を判定させるモデル) を構築した。 L2 Softmax Lossを用いたNeural Networkと、Softmax Lossを用い…

以下の記事のPart. 2です。 Part. 1ではtransformerの説明とモデルの実装をしました。 この記事ではlossやmetricsを定義し実際に学習を行います。 また、日本語データを用いるために分かち書きも実装しています。 tksmml.hatenablog.com

tensorflow2.0のベータ版が公開されたので、慣れるためにtransformerを学習させて、言語生成を試して見たいと思います。 collaboratoryを使ってGPUで学習させます。 コードはこちら のチュートリアルを参考にしました。