備忘録
お疲れ様です。 HuggingFaceのDatasetsからデータセットを読み込み時にエラーが出たときの対応方法のメモです。 今回問題のあったデータセット Food_and_Vegetables（画像分類用のデータセット） huggingface.co 通常のやり方 通常Datasetsからデータセット…
お疲れ様です。 前回の記事でTrOCRの調査内容をまとめたので、今回は実装のお話。 fallpoke-tech.hatenadiary.jp ソースコード コード内容補足 モデル データセット 前処理 実行結果 学習 推論 ソースコード ソースコードはこちらのGithubリポジトリにまとめ…
お疲れ様です。 今月の半ばくらいまで会社の勉強会の関係でAI OCRの手法の1つのTrOCRの調査と実装をしていました。 今回はそちらの内容をまとめて備忘録を書いておきます。 論文 arxiv.org 要約（from ChatGPT） TrOCR：Transformerベースの革新的なOCR技術 …
お疲れ様です。 画像分類モデルのDeiTについて、使う機会があり内容を調べてみたのでメモ的にまとめておきます。 論文 arxiv.org 要約（from ChatGPT） 背景 Vision Transformer (ViT) は自然言語処理のTransformerを画像分類に応用したモデルだが、従来は数…
お疲れ様です。 FastAPIでlifespanという機能を使う機会があったのでメモ。 lifespanの公式ドキュメントはこちら。 fastapi.tiangolo.com 機能の内容をざっくりというとAPIの起動時と終了時の処理を管理するというものです。 コードは以下のようになり、yiel…
お疲れ様です。 前回gpt-ossでMCPサーバを動かすという内容 で記事を書いたのですが、その中でlangchain-ollamaには OllamaLLMとChatOllamaの2つのモデルが使えることを知りました。 今回はこの2つの違いをざっくり調べてみました。 公式ドキュメント Ollama…
お疲れ様です。 Pythonにはオブジェクトをキャッシュデータとしてファイル保存するモジュールがいくつかあります。 今回はそれらのモジュールをそれぞれ使用して比較してみたという内容です。 コードはこちらに残してあります。 github.com 今回使用するデー…
お疲れ様です。 仕事上で開発を行う際に付きまとうライセンス周りの問題について、個人的な知見もふくめてまとめておこうと思います。 （今後も追記する可能性ありです。） 以下２点ご注意ください。あくまで参考程度に考えてください。 ライセンス周りは私…
お疲れ様です。 今回はAPIから別のAPIをリダイレクトで直接呼び出すような実装をしたので、その復習も兼ねてメモを書いておきます。 以前requestsモジュールを使ってAPIの処理の中で別のAPIを呼び出してその結果を処理の中で使うということもやったのですが…
お疲れ様です。 タイトルの通り画面上に映っているものから色情報を取得する方法についてメモです。 アプリの作成時などに設計書のイメージ通りの色を取得したい！という時によく使っている方法です。 Windowsのペイントを使った方法になります。（なのでWin…
お疲れ様です。 FastAPIで作成したAPI間で共通で使える変数を定義する方法のメモです。 最近の実装で必要になり調べたところFastAPIの機能として元からあることを知りました。 fastapi.tiangolo.com FastAPIでAPIを作成する際app = FastAPI()と最初に定義す…
お疲れ様です。 最近の実装で知ったPytorchにおけるモデルのload_state_dict時にstrict=Falseを指定したときの仕様についてメモを残しておきます。 docs.pytorch.org strict=Falseの指定について load_state_dictでは基本的にモデルアーキテクチャ（nn.Modul…
お疲れ様です。 タイトル通り今回はconda installできるCUDAについてのメモです。 個人としてはPytorchの環境構築でいつも使っているものではあるのですが、改めてどういうものか知っておきたいということで調べてみました。 conda installでCUDAをインスト…
お疲れ様です。 最近の実装でPythonの標準モジュールsubprocessを使って立ち上げたプロセスをPython自体の機能を使って停止させる処理を書く必要があり、いろいろと苦労したのでメモを残しておこうと思います。 直近で調べた内容なので間違い等あるかもしれ…
お疲れ様です。 今回はPythonのパッケージ・プロジェクト管理ツールのuvをconda環境でインストールして試します。 先日conda installできることを知って試してみたいと思っていました。 conda-forgeで公開されており、2025年5月時点で公式の最新バージョンと…
お疲れ様です。 devcontainerを新規で立ち上げた際、VSCodeの拡張機能が何も入っていない状態になります。ちょっと面倒な仕様ですが、これは"devcontainer.json"に導入したい拡張機能を設定しておくことで立ち上げ時に自動で導入してくれます。 設定方法 dev…
お疲れ様です。 業務でNext.jsを使うことになり環境構築から対応が必要になったので試しに個人PCに環境構築したメモです。（自分用） もともとNext.jsを使った開発は経験があるのですが、Dockerでdevcontainerを作成して開発をしていました。 今回作成する環…
お疲れ様です。 昨日mmapを使った共有メモリでのプロセス間データ共有について記事を書いていました。その補足というかちょっとした改良を考えたのでメモ的に残しておきます。 fallpoke-tech.hatenadiary.jp 内容としては、昨日の記事の中で書いた読取側でバ…
お疲れ様です。 Pythonでプロセス間でのデータのやり取りをするにあたり、標準モジュールのmmapを使って共有メモリで実現する方法があります。 2年前くらいに必要があり作ったコードですが、復習の意味も込めて掘り出して再度書いてみたのでこちらにも備忘録…
お疲れ様です。 WindowsでStreamlitのWebアプリを開発する際、プロセスを終了できないことがあったので調べてみた備忘録です。大した問題ではないですが気になったので…。 ※この状態でCtrl+Cを押しても終了できないという状態↓ 発生する条件 「実行したまま…
お疲れ様です。 PythonのWebアプリフレームワークであるStreamlitを使ってログイン画面とユーザ登録画面を作ってみたのでその紹介。 以前作成していたチャットボットのアプリに実装していたものをデモ用に機能だけを取り出した感じです。↓ github.com 今回作…
お疲れ様です。 今回はFastAPIで作成したAPIにPythonコードからリクエストをかけてデータ取得するコードをざっくりとまとめました。 コード解説 コードは下記に残してありますので詳細を確認したい場合はご確認を。実際にGitHubに挙げているコードを見てもら…
お疲れ様です。 最近は業務でDockerを使用することも増え、個人的やっている内容もDocker使えればみたいな場面が増えてきました。 そういう背景から勉強も兼ねてDockerの環境を構築していたのでその備忘録です。 基本的には参考サイトのリンク集です。 Linux…
お疲れ様です。 以前FastAPIでファイルダウンロードをするAPIを作成しました。 fallpoke-tech.hatenadiary.jp 逆にフロントエンドからアップロードしたものをFastAPIでデータとして受け取るというのも使いどころが多そうに感じたので、今回はそのAPIを作成し…
お疲れ様です。 会社の勉強会の関係でGitHub CodeSpacesを使ってRAGの実行をしたかったのですが、ChromaDBでデータベース作成をする際にエラーが起こっていました。その対処方法を調べて無事使用できるようになったので対処方法のメモを残しておきます。 エ…
お疲れ様です。 業務内でFastAPIを使ってcsvファイルやexcelファイルをダウンロードするAPIを作成したので、忘れないうちにメモ。 最近はWeb系のコード作成も増えていて使いどころも多くなってくるのかなと思っています。 作成コード（GitHub） 実装 FileRes…
お疲れ様です。 今回はちょっとしたライブラリ紹介的な記事です。 Pythonで使用できる「Gooey」というライブラリをですが、Pythonスクリプトを簡単にGUI化できます。結構前から使っていたのですが日本語の記事がほぼ無いのでせっかくなのでまとめようと思い…
お疲れ様です。 業務内で古いバージョンのpytorch-lightningをインストールするときにエラー発生したので備忘録として残しておく。 原因としてはライブラリの問題ではなく、pipのバージョンが新しくなったことによるもののようです。 結論、pipをダウングレ…
お疲れ様です。 Pythonでディープラーニングのプログラムを書く際、その際に様々なライブラリにお世話になるかと思います。 その中で、モデルアーキテクチャの定義と同時に特定の事前学習済みモデルの重みファイルを自動でダウンロードしてくれる機能がある…
お疲れ様です。 PythonでOpenCVを使った画像処理のプログラムを書くことが多いのですが、日本語が絡んでくるとうまく動作しないことがよくあります。 その対処法をメモ的に残しておきます。 画像読み込み・保存（imread, imwrite） 文字列書き込み（puttext…
