Python
お疲れ様です。 HuggingFaceのDatasetsからデータセットを読み込み時にエラーが出たときの対応方法のメモです。 今回問題のあったデータセット Food_and_Vegetables（画像分類用のデータセット） huggingface.co 通常のやり方 通常Datasetsからデータセット…
お疲れ様です。 前回の記事でTrOCRの調査内容をまとめたので、今回は実装のお話。 fallpoke-tech.hatenadiary.jp ソースコード コード内容補足 モデル データセット 前処理 実行結果 学習 推論 ソースコード ソースコードはこちらのGithubリポジトリにまとめ…
お疲れ様です。 今月の半ばくらいまで会社の勉強会の関係でAI OCRの手法の1つのTrOCRの調査と実装をしていました。 今回はそちらの内容をまとめて備忘録を書いておきます。 論文 arxiv.org 要約（from ChatGPT） TrOCR：Transformerベースの革新的なOCR技術 …
お疲れ様です。 今回はOCR（光学文字認識）のお話。 OCR（Optical Character Recognition：光学的文字認識）は画像に含まれる文字をコンピュータで認識できるテキストの形で読み取る技術のこと。 最近だとOSSでYomiTokuが日本語特化OCRとしてはとても優秀で…
お疲れ様です。 前回の記事でDeiTについて調べたので実際にコード実装し動作できるようにしました。 前回の記事 fallpoke-tech.hatenadiary.jp ソースコード 実装したコードはこちらに置いています。 過去に作成したコードを改良したものになります モデルア…
お疲れ様です。 画像分類モデルのDeiTについて、使う機会があり内容を調べてみたのでメモ的にまとめておきます。 論文 arxiv.org 要約（from ChatGPT） 背景 Vision Transformer (ViT) は自然言語処理のTransformerを画像分類に応用したモデルだが、従来は数…
お疲れ様です。 今回はPytorchでの処理を実装している際に実際に出くわしたエラーについてのメモ。 torchvisionで発生したOverflowErrorについて調べました。 エラー内容 torchvisionのGitHubのissuesに情報がありましたので、載せておきます。 github.com …
お疲れ様です。 Googleから新しいオープンモデル、EmbeddingGemmaが公開されたので試してみました。 こちらは埋め込みモデル（Embedding Model）、文書をベクトル化するためのモデルになります。 huggingface.co 上記HuggingFaceの公式ページにあるデモコー…
お疲れ様です。 FastAPIでlifespanという機能を使う機会があったのでメモ。 lifespanの公式ドキュメントはこちら。 fastapi.tiangolo.com 機能の内容をざっくりというとAPIの起動時と終了時の処理を管理するというものです。 コードは以下のようになり、yiel…
お疲れ様です。 前回gpt-ossでMCPサーバを動かすという内容 で記事を書いたのですが、その中でlangchain-ollamaには OllamaLLMとChatOllamaの2つのモデルが使えることを知りました。 今回はこの2つの違いをざっくり調べてみました。 公式ドキュメント Ollama…
お疲れ様です。 今回はgpt-oss:20Bを使ってMCPサーバを利用した返答生成を試してみます。 コードは過去にGeminiのAPIを使って作成したものを、langchain-ollamaを使ったものに変更したのみにはなりますが…。 最後にGeminiと簡単に比較した内容を載せたいと思…
お疲れ様です。 会社の勉強会でChatGPTのチャット履歴を取得して解析をしました。 その内容を記事として残しておこうと思います。 全体観としては、取得したチャット履歴からユーザの入力内容のみを抽出し、その文書情報を使ってWordCloudを作成するというも…
お疲れ様です。 前回Ollamaを使用してgpt-oss:20bを動かしてみたのですが、ここまでできたらRAGも試してみたいということで実装してみました。 前回の記事 fallpoke-tech.hatenadiary.jp RAGの実装については以前GeminiAPIを使って実装したコードをベースに…
お疲れ様です。 昨日（2025/8/6）にgpt-ossが発表されました。界隈がめちゃくちゃ盛り上がっていますね。 GPUのVRAMが16GBあれば一般のPCでも動かせる、その上かなりの高性能とのことで私もめちゃくちゃ気になっていたので試してみました。 環境について OS…
お疲れ様です。 Pythonにはオブジェクトをキャッシュデータとしてファイル保存するモジュールがいくつかあります。 今回はそれらのモジュールをそれぞれ使用して比較してみたという内容です。 コードはこちらに残してあります。 github.com 今回使用するデー…
お疲れ様です。 今回はAPIから別のAPIをリダイレクトで直接呼び出すような実装をしたので、その復習も兼ねてメモを書いておきます。 以前requestsモジュールを使ってAPIの処理の中で別のAPIを呼び出してその結果を処理の中で使うということもやったのですが…
お疲れ様です。 最近はCLIのAIエージェントが流行っていますよね…！ 私も「GeminiCLI」をよく使っています。ほぼ無料で使えるのが良い！ Gemini CLI使ってみたが、ちょっと引いてる… 細かい部分はともかくちゃんと動くものできるててすごい これ一応一定ライ…
お疲れ様です。 Streamlitでクエリパラメータを扱うことができるということを知ったので試してみました。 これを使って、これまでに作成したガントチャートアプリに閲覧専用のモードを実装するところまでやってみます。 クエリパラメータについて クエリパラ…
お疲れ様です。 FastAPIで作成したAPI間で共通で使える変数を定義する方法のメモです。 最近の実装で必要になり調べたところFastAPIの機能として元からあることを知りました。 fastapi.tiangolo.com FastAPIでAPIを作成する際app = FastAPI()と最初に定義す…
お疲れ様です。 最近の実装で知ったPytorchにおけるモデルのload_state_dict時にstrict=Falseを指定したときの仕様についてメモを残しておきます。 docs.pytorch.org strict=Falseの指定について load_state_dictでは基本的にモデルアーキテクチャ（nn.Modul…
お疲れ様です。 前回langchain-mcp-adaptersを使ってチャットボットでMCPサーバを利用した返答を出力させる実装をしました。 fallpoke-tech.hatenadiary.jp その際にMCPサーバを使った返答生成の部分だけを単体で実行できるコードを作っていたので、今回はそ…
お疲れ様です。 最近話題のMCPサーバ、LangChainで使えるということをこれまた最近知りました。 会社でやっている技術系の勉強会でも最近触れたこともあり興味があったので、今回はこちらを実装してみました。 メモ勉強会でmcpに触れたのでチャットボット組…
お疲れ様です。 今回はガントチャートアプリの追加機能実装についてです。 前回の記事はこちら↓ fallpoke-tech.hatenadiary.jp 実装したのはタスク内容の追加・更新・削除の機能です。 csvファイルを読み込んだDataFrameで管理していますが、それを操作して…
お疲れ様です。 最近の実装でPythonの標準モジュールsubprocessを使って立ち上げたプロセスをPython自体の機能を使って停止させる処理を書く必要があり、いろいろと苦労したのでメモを残しておこうと思います。 直近で調べた内容なので間違い等あるかもしれ…
お疲れ様です。 今回はPythonのパッケージ・プロジェクト管理ツールのuvをconda環境でインストールして試します。 先日conda installできることを知って試してみたいと思っていました。 conda-forgeで公開されており、2025年5月時点で公式の最新バージョンと…
お疲れ様です。 Streamlitを使ってガントチャート付きのタスク管理アプリを作ったので紹介。 図の表示にはPlotlyを使用して動的なガントチャートにしています。（Plotlyの勉強も兼ねています。） 職場のタスク管理用のツールがExcelシートのままなのでゆくゆ…
お疲れ様です。 昨日mmapを使った共有メモリでのプロセス間データ共有について記事を書いていました。その補足というかちょっとした改良を考えたのでメモ的に残しておきます。 fallpoke-tech.hatenadiary.jp 内容としては、昨日の記事の中で書いた読取側でバ…
お疲れ様です。 Pythonでプロセス間でのデータのやり取りをするにあたり、標準モジュールのmmapを使って共有メモリで実現する方法があります。 2年前くらいに必要があり作ったコードですが、復習の意味も込めて掘り出して再度書いてみたのでこちらにも備忘録…
お疲れ様です。 今日の昼頃Preferred Networks（PFN）からPLaMoをベースにしたテキスト埋め込みモデル（Embeddingモデル）が公開されていました！ tech.preferred.jp この公開された「plamo-embedding-1b」ですが、他の日本語テキスト埋め込みモデルと比較し…
お疲れ様です。 WindowsでStreamlitのWebアプリを開発する際、プロセスを終了できないことがあったので調べてみた備忘録です。大した問題ではないですが気になったので…。 ※この状態でCtrl+Cを押しても終了できないという状態↓ 発生する条件 「実行したまま…
