
StableBuild が、Hugging Face から取得する AI モデルに対応しました。ソフトウェアパッケージやコンテナイメージに加え、AI モデルのファイルも、依存関係の保持・管理の対象になります。
今回の Hugging Face 対応により、学習・テスト・デプロイの各工程で、同じモデルファイルを取得しやすくなります。Hugging Face のモデルを利用するチームは、モデルの取得も、アプリケーションが必要とする外部依存関係の管理に組み込めます。
AI アプリケーションでは、モデルはそれを実行するコードと同じくらい重要です。特定のモデルの重み、トークナイザーのファイル、設定ファイルを前提に動作することもあります。これらが予期せず変わったり、取得できなくなったりすると、以前の環境を再構築することが難しくなります。
StableBuild の新機能は、こうした課題に対応するためのものです。
Hugging Face Hub では、機械学習モデルと、そのモデルに関連するファイルが公開されています。開発者はこれらのリポジトリを利用して、アプリケーションの開発、実験、既存モデルのファインチューニング、AI サービスのデプロイを行います。
セットアップやデプロイの際に、モデルファイルを自動で取得するアプリケーションもあります。その場合、実行環境はアプリケーションのソースコードだけでなく、外部のリポジトリから返されるファイルにも依存します。
たとえば、あるモデルを使って学習やテストを行ったチームが、数週間後に同じ処理を繰り返すとします。以前の実験結果と比較したり、過去のデプロイ環境を再構築したりする必要があるかもしれません。しかし、その間にモデルファイルが変わっていれば、同じ条件で比較できなくなる可能性があります。
Hugging Face の AI モデルを利用するチームにとって、元のファイルを確実に取得できることは、比較の前提をそろえるうえで重要です。処理を実行した時点で配布元にあるファイルに任せるのではなく、意図したモデルファイルを継続して取得できるようにすることが目的です。
Hugging Face には、モデルリポジトリの特定のバージョンを指定する仕組みがあります。
ファイルを取得する際には、ブランチ、タグ、コミットハッシュを選択できます。コミットハッシュでモデルのリビジョンを指定すれば、更新され続ける main などのブランチを指定するよりも、取得対象を正確に特定できます。学習やデプロイに使ったモデルのバージョンを記録する際にも役立ちます。
Hugging Face Transformers では、対応するモデルリポジトリからモデルを読み込む際に、リビジョンを指定できます。また、huggingface_hub の Python ライブラリには、個別のファイルやリポジトリ全体のスナップショットをダウンロードする機能があります。
ただし、リビジョンを指定しただけで、そのファイルが配布元から将来も取得できると保証されるわけではありません。リポジトリが利用できなくなったり、アクセス権限が変わったり、新しいビルド環境で必要なファイルを取得できなかったりする可能性があります。
Hugging Face のローカルキャッシュは、端末に保存済みのファイルを再ダウンロードする手間を減らします。Hugging Face CLI を使ってモデルを取得することもできます。しかし、ローカルキャッシュがあるだけで、すべての CI ランナー、学習環境、デプロイ先に必要なファイルが保持されるわけではありません。
そのため、バージョンの指定に加えて、以前使った依存関係を引き続き取得できる仕組みも必要になります。
新機能により、Hugging Face からのダウンロードを、StableBuild の依存関係管理の仕組みに組み込めるようになります。
StableBuild はこれまで、Docker イメージ、OS パッケージ、Python パッケージ、外部 URL から取得するファイルの保持を支援してきました。今回の対応では、その対象を AI モデルの依存関係へ広げます。既存の開発・デプロイ工程の中で、再現可能なモデルダウンロードを管理しやすくすることが狙いです。
モデルリポジトリには、モデルの重みだけでなく、トークナイザーのデータや設定ファイルなど、組み合わせて使うファイルが含まれる場合があります。実験を繰り返したり、以前のアプリケーション環境を再構築したりするには、こうしたファイルも管理する必要があります。
モデルのダウンロードを独立した作業として扱うのではなく、アプリケーションが必要とする外部依存関係の一部として管理する。すでに StableBuild でパッケージやコンテナを保持しているチームは、その考え方を AI 開発にも適用できます。
同じ初期モデルを使って、学習やファインチューニングを再実行したい場合があります。元のモデルファイルを取得できれば、結果に差が生じる要因を一つ減らせます。
ただし、モデルファイルをそろえるだけで、学習結果が完全に再現されるわけではありません。データ、乱数シード、ハードウェア、学習設定なども管理する必要があります。
アプリケーションが、特定のモデル、Python 環境、コンテナイメージを組み合わせて利用している場合があります。モデルや関連ファイルが取得できなくなると、以前のデプロイ環境を再構築する作業は複雑になります。
AI モデルの依存関係を保持することで、そのアプリケーションが前提としていたファイルを、後からも取得できるようにします。
更新後にモデルの動作が変わった場合、エンジニアは、原因がアプリケーションのコードなのか、モデルファイルなのか、それ以外の環境の変化なのかを切り分ける必要があります。
必要な依存関係を再取得できれば、各デプロイで使用したモデルファイルを比較しやすくなります。
再現性を確保することは、新しいモデルへの更新を避けることではありません。新しいモデルを評価し、動作を検証したうえで、意図したタイミングで導入できます。以前のファイルも取得できる状態にしておくと、更新前後の比較に役立ちます。
StableBuild の Hugging Face 連携は、すでに利用可能です。対応する取得方法や設定手順については、StableBuild のドキュメントを確認してください。
導入後も、アプリケーションが使用するモデルのリポジトリとリビジョンは記録しておくことが重要です。取得対象を管理する仕組みと、その記録を組み合わせることで、AI モデルを使う処理の調査や再実行を進めやすくなります。
AI アプリケーションでは、従来のソフトウェア依存関係に加えて、外部リポジトリから取得するモデルファイルも重要になっています。StableBuild は、Hugging Face 対応によって、依存関係を保持する仕組みを AI 開発の工程にも広げます。
アプリケーションの再構築、学習工程の再実行、過去のデプロイ環境の調査。そのどの場合でも、必要なのは、意図したモデルファイルを再び取得できることです。今回の新機能は、そのためのモデル取得を管理しやすくします。
詳しくは、StableBuild の日本語サイトをご覧ください。