EmbeddingGemmaのお試し - 誰かの技術置き場

お疲れ様です。

Googleから新しいオープンモデル、EmbeddingGemmaが公開されたので試してみました。こちらは埋め込みモデル（Embedding Model）、文書をベクトル化するためのモデルになります。

上記HuggingFaceの公式ページにあるデモコードを試してみます。

実際に使用したソースコード全体は以下（GitHub）に残しています。ローカル環境で使用するために多少カスタマイズしています。

事前準備

EmbeddingGemmaを使うためにはHuggingFaceのユーザ登録とトークン作成が必要になります。作成方法は以下をご参考ください。
参考: https://highreso.jp/edgehub/machinelearning/huggingfacetoken.html

プログラム側では下記のように記載してログイン処理をします。作成したトークンを環境変数HUGGINGFACE_TOKENに格納（.envに記載）することで使用します。

from huggingface_hub import login
from dotenv import load_dotenv

load_dotenv()
login(token=os.environ["HUGGINGFACE_TOKEN"])

ログインが成功していればPythonコマンドで実行したときに以下のようにEmbeddingGemmaのモデルのダウンロードが走ります。

download

結果の確認

実際にデモ用コードを動かしてみました。
ちなみに入力する文書データは日本語のデータを作成して置き換えています。処理としてはqueryの文書とdocumentsの文書のベクトル化をした後、類似度スコアをqueryとdocumentsを比較してそれぞれで類似度を算出するというものです。

query = "日本で桜の名所として有名な場所はどこですか？"
documents = [
    "京都の清水寺は、紅葉や歴史的建造物で人気の観光地です。",
    "奈良公園は鹿と触れ合える場所として有名です。",
    "弘前公園は春になると桜が満開になり、日本有数の花見スポットとして知られています。",
    "富士山は日本を代表する山で、世界文化遺産にも登録されています。"
]

結果は以下のようになりました。 queryが桜の名所について聞いた内容なので、documentsの3個目の桜や花見といったワードのある文書がスコアが高くなっていると考えられます。