お疲れ様です。 前回の記事でTrOCRの調査内容をまとめたので、今回は実装のお話。 fallpoke-tech.hatenadiary.jp ソースコード コード内容補足 モデル データセット 前処理 実行結果 学習 推論 ソースコード ソースコードはこちらのGithubリポジトリにまとめ…

お疲れ様です。 今月の半ばくらいまで会社の勉強会の関係でAI OCRの手法の1つのTrOCRの調査と実装をしていました。 今回はそちらの内容をまとめて備忘録を書いておきます。 論文 arxiv.org 要約（from ChatGPT） TrOCR：Transformerベースの革新的なOCR技術 …

お疲れ様です。 前回の記事でDeiTについて調べたので実際にコード実装し動作できるようにしました。 前回の記事 fallpoke-tech.hatenadiary.jp ソースコード 実装したコードはこちらに置いています。 過去に作成したコードを改良したものになります モデルア…

お疲れ様です。 画像分類モデルのDeiTについて、使う機会があり内容を調べてみたのでメモ的にまとめておきます。 論文 arxiv.org 要約（from ChatGPT） 背景 Vision Transformer (ViT) は自然言語処理のTransformerを画像分類に応用したモデルだが、従来は数…

お疲れ様です。 今回はPytorchでの処理を実装している際に実際に出くわしたエラーについてのメモ。 torchvisionで発生したOverflowErrorについて調べました。 エラー内容 torchvisionのGitHubのissuesに情報がありましたので、載せておきます。 github.com …

お疲れ様です。 最近の実装で知ったPytorchにおけるモデルのload_state_dict時にstrict=Falseを指定したときの仕様についてメモを残しておきます。 docs.pytorch.org strict=Falseの指定について load_state_dictでは基本的にモデルアーキテクチャ（nn.Modul…

お疲れ様です。 表題のコードが仕事上で必要になったので作成してみました。 過去に作成したコードがあったのでそれを利用しつつ、扱いやすいように作成しなおした感じです。 fallpoke-tech.hatenadiary.jp 作成したコードは単体のリポジトリとしてこちらに…

お疲れ様です。 最近は業務でDockerを使用することも増え、個人的やっている内容もDocker使えればみたいな場面が増えてきました。 そういう背景から勉強も兼ねてDockerの環境を構築していたのでその備忘録です。 基本的には参考サイトのリンク集です。 Linux…

お疲れ様です。 今回は機械学習の界隈で話題のRAdamScheduleFreeという新しいoptimizerを試したいと思います。 なんでもAdamWと同等かそれ以上の性能だとか…！ 詳しい内容は作成者さんのZennをご確認ください。今回私がやるのはとりあえずの実装のみ…。 zenn…

お疲れ様です。 以前の記事でHuggingFace（transformersライブラリ）から利用できるDETRという物体検出モデルを実装しました。 今回はDETR以外の物体検出モデルを使ってみようと思います。 前回 ソースコード 使用するデータセット PCのスペック HuggingFace…

お疲れ様です。 HuggingFace（transformersライブラリ）から利用できる物体検出のDeepLearningモデルを試してみたのでその紹介です。 物体検出についてはざっくりというと画像内の物体を矩形（Bounding Box）で囲って検出するものになります。 下図の例では…

お疲れ様です。 Pythonでディープラーニングのプログラムを書く際、その際に様々なライブラリにお世話になるかと思います。 その中で、モデルアーキテクチャの定義と同時に特定の事前学習済みモデルの重みファイルを自動でダウンロードしてくれる機能がある…

お疲れ様です。 「三目並べ」、いわゆる「〇×ゲーム」の対戦GUIをPythonで作ったので簡単に紹介します。 GUIのイメージ 背景 作成 ソースコード 所感 背景 元々は会社の技術系の勉強会で三目並べのAIを作ったことが始まりです。 教化学習の手法の1つであるQ…