ローカルファーストのLLM推論が簡単に
Docker Model Runner を使用すると、使い慣れた Docker CLI コマンドとツールを使用して、AI モデルをローカルで簡単にテストおよび実行できます。Docker Hubを含むOCI準拠のレジストリと連携し、OpenAIのAPIをサポートしているため、迅速なアプリケーション統合が可能です。
トークンのコストを削減し、データを非公開にし、完全な制御を維持します。
トークンのコストを削減し、データを非公開にし、完全な制御を維持します。
一般的な AI モデルを Docker のシンプルさでローカルに実行
準備ができたモデル
Docker Hub で厳選されたオープンソースの AI モデルのカタログを探索するか、Hugging Face から直接プルします。
完全なローカル制御
LLMをローカルで実行し、AIワークフローとデータプライバシーの完全な所有権を取得します。
ネイティブGPUアクセラレーション
高速で効率的な推論により、ローカルマシンのパフォーマンスを最大化します。
簡単なアプリ統合
OpenAIのAPIを介して推論リクエストを送信すると、高速でスケーラブルなアプリ統合に最適です。
シームレスなDocker統合
Docker Compose、Testcontainers、Offload などの一般的な Docker ツールと組み合わせて使用すると、ローカルから CI/CD に簡単にスケーリングできます。
ポータブルなデザインで、共有が簡単
モデルをパッケージ化、管理し、Docker HubなどのOCI準拠レジストリに共有します。
チームとエンタープライズ向けに構築
モデルのアクセスと制御をOCIアーティファクトとしてDocker Hubで安全に管理します。
AI アプリを構築する場所で使用
Spring AI、LangChain、OpenWebUIなどのフレームワークと接続するには、すでに使い慣れた信頼できるDockerツールを使用します。
手間のかからないローカル推論はここから始まります
Docker Model Runner を使用して LLM をローカルで実行します。トークンのコストを削減し、制御を維持し、すでに知っているツールを使用します。