MLflowとは、機械学習の実験管理やモデル管理だけでなく、LLM・生成AI・AIエージェントの評価、Tracing、プロンプト管理、運用監視まで支援するオープンソースのAIプラットフォームです。MLflow 3.xの最新機能やMLOps・LLMOpsでの活用方法、導入メリットを初心者にもわかりやすく解説します。
MLflowとは？
MLflowは、機械学習モデルの開発から評価、管理、デプロイまでを支援するオープンソースのAI・MLOpsプラットフォームです。
もともとは、機械学習実験のパラメータや精度、生成したモデルなどを記録する「実験管理ツール」として登場しました。しかし、生成AIやLLM、AIエージェントの普及によってAI開発で管理すべき情報が増えたことで、MLflowの役割も大きく変化しています。
2026年現在のMLflow公式ドキュメントは、「Machine Learning」と「LLMs & Agents」という2つの領域に分けられています。従来型の機械学習だけでなく、LLMアプリケーションやAIエージェントのTracing、評価、プロンプト管理、運用監視まで対象になっています。
そのため現在のMLflowは、「モデルを管理するMLOpsツール」というより、AIアプリケーションを継続的に開発・評価・改善するための基盤と捉えると理解しやすいでしょう。
MLflow 3.xで何が変わった？2026年の最新動向
MLflow 3.xでは、生成AI時代に対応するための機能が大きく強化されています。
特に重要なのが、MLflow Tracing、GenAI Evaluation、Prompt Registry、Evaluation Dataset、AIエージェント対応です。
従来の機械学習では、モデルの精度やF1、RMSEなどを比較すれば品質を判断できました。しかしLLMアプリケーションでは、プロンプト、検索結果、ツール呼び出し、LLMの応答、レイテンシー、トークン使用量など、複数の要素をまとめて評価する必要があります。
MLflow 3.xは、この複雑なAI開発サイクルを一つのプラットフォームで扱える方向へ進化しています。
2026年9月にはMLflow 3.16.0がリリースされ、Tracing UIの刷新やカスタムTraceビュー、GenAI関連の改善などが追加されました。
MLflowの主な機能
1．MLflow Tracking：機械学習の実験管理
MLflow Trackingは、MLflowの基本機能です。
機械学習モデルの学習時に、パラメータ、評価指標、モデル、ファイルなどを記録し、複数の実験結果を比較できます。
例えば、LightGBMやXGBoostなどでハイパーパラメータを変更しながら学習する場合、各実験の条件と精度をMLflowに保存しておけば、「どの条件で最も良いモデルが得られたか」を後から確認できます。
これによって、ExcelやCSVなどに手作業で実験結果を記録する必要が減り、機械学習モデルの再現性も高められます。
2．MLflow Model Registry：モデルのバージョン管理
Model Registryは、学習済みモデルを管理するための機能です。
モデルのバージョンや関連する実験情報を記録し、開発中のモデルと本番利用モデルを区別できます。
機械学習を企業で運用する場合、「誰が、いつ、どのデータとコードでモデルを作り、現在どのバージョンが使われているのか」を追跡できることが重要です。
MLflowではTrackingとModel Registryを組み合わせることで、モデル開発から運用までのライフサイクルを管理できます。
3．MLflow Tracing：LLMとAIエージェントの処理を可視化
2026年のMLflowで特に重要なのがTracingです。
LLMアプリケーションでは、1回の質問に対して複数の処理が実行されることがあります。
例えばRAGシステムでは、「ユーザーの質問→Embedding→検索→関連文書取得→LLMへの入力→回答生成」という処理が発生します。AIエージェントなら、さらに複数のLLM呼び出しや外部ツールの実行が加わります。
MLflow Tracingでは、この一連の処理をTraceとして記録し、各処理の入力・出力、レイテンシーなどを確認できます。
そのため、回答品質が低下した場合にも、「LLMが悪いのか」「検索結果が悪いのか」「プロンプトが原因なのか」といった問題を調査しやすくなります。
これは生成AIの可観測性、LLMOps、AgentOpsを実現するうえで重要な機能です。
4．MLflow Evaluation：LLMの回答品質を評価する
生成AIでは、通常の機械学習のように「正解率」だけで品質を判断することが難しくなります。
そこで重要になるのがMLflowのGenAI Evaluationです。
MLflowでは、評価データセットに対してLLMアプリケーションを実行し、組み込みのScorerや独自のScorer、LLM-as-a-Judgeなどを使って回答品質を評価できます。
例えば、FAQチャットボットなら「正確性」「関連性」「回答の適切性」、RAGなら「検索結果に基づいて回答しているか」「根拠が十分か」といった観点を評価できます。
さらに本番環境で収集したTraceを後から評価することも可能です。MLflowでは本番Traceを再利用して複数回の評価を実施できるため、評価のために毎回LLMを再実行するコストを抑えられるケースもあります。
なお、従来のLLM評価で利用されていたmlflow.evaluate()はMLflow 3.0.0から非推奨となっており、現在は新しいGenAI Evaluation APIへの移行が推奨されています。
5．Prompt Registry：プロンプトを資産として管理
生成AI開発では、モデルだけでなく「プロンプト」も品質を左右します。
同じLLMを利用していても、システムプロンプトや指示文を変更するだけで回答結果が大きく変わることがあります。
MLflowのPrompt Registryでは、プロンプトテンプレートを登録し、バージョン管理できます。変更した場合は新しいバージョンとして保存されるため、過去のプロンプトとの差分や利用履歴を追跡しやすくなります。
さらに、プロンプトを異なるモデルや評価データセットで比較し、どのバージョンが目的に適しているかを評価することもできます。
つまりMLflowは、Model RegistryだけでなくPrompt Registryも含めてAI資産を管理する基盤へ進化しています。
6．Evaluation Dataset：AIのテストデータを管理
AIアプリケーションを本番運用する場合、「何をもって良い回答とするか」を明確にする必要があります。
そのためには、代表的な質問、期待する回答、評価条件などをまとめたEvaluation Datasetが重要です。
例えば企業向けRAGなら、「一般的な質問」「回答困難な質問」「情報が存在しない質問」「古い情報を要求する質問」などをテストケースとして蓄積できます。
同じ評価データセットを使ってプロンプトやモデルを変更することで、変更前後の品質を継続的に比較できます。
この考え方は、AI開発を「試してみる」段階から、評価結果に基づいて改善するEvaluation-Driven Developmentへ移行するうえで重要です。
MLflowとMLOps・LLMOpsの関係
従来のMLOpsでは、データ準備、モデル学習、評価、モデル登録、デプロイ、監視という流れが中心でした。
しかし生成AIでは、これにプロンプト、RAG、Embedding、LLM、ツール、Agent、評価Judgeなどが加わります。
MLflowはTrackingで開発履歴を残し、Model Registryでモデルを管理し、TracingでAIアプリケーションの実行状況を把握し、Evaluationで品質を測定できます。
さらにPrompt Registryによってプロンプトもバージョン管理できるため、MLOpsからLLMOps、そしてAIエージェント運用へ対象を広げられます。
MLflow 3.15で登場したMCP Registryにも注目
2026年のMLflowを語るうえでは、MCP対応も見逃せません。
MLflow 3.15.0では、MCP Registryが導入されました。MCPはAIモデルやエージェントと外部ツールを接続するためのプロトコルで、MCP RegistryではMCPサーバーを登録、バージョン管理、共有できます。
企業内でAIエージェントが増えると、「どのエージェントが、どのツールを利用できるのか」という管理も必要になります。
そのため今後のAIガバナンスでは、モデルだけでなく、Prompt、Agent、Tool、MCP Server、Evaluation Datasetなどをまとめて管理する考え方が重要になっていくでしょう。
MLflowを導入するメリット
MLflowを導入する大きなメリットは、AI開発に関する情報を一元的に管理できることです。
従来は、実験結果をスプレッドシート、モデルをファイルサーバー、プロンプトをGitHub、評価結果を別の資料、本番ログを監視システムというように、AI開発に必要な情報が分散しがちでした。
MLflowを活用すれば、実験、モデル、Prompt、Trace、Evaluationなどを関連付けて管理できます。
特に生成AIでは、「回答が悪かった」という結果だけではなく、「どのプロンプトで、どのモデルを使い、どの検索結果を参照し、どの処理を経て回答したのか」まで確認できることが品質改善につながります。
MLflow導入時の注意点
MLflowを導入する場合は、機能をすべて最初から利用する必要はありません。
機械学習プロジェクトなら、まずTrackingによる実験管理から始め、次にModel Registryを導入する方法があります。
LLMやRAGを利用する場合はTracingを導入し、代表的な質問をEvaluation Datasetとして整備するところから始めると、効果を確認しやすくなります。
企業環境では、Traceにユーザー入力や機密情報が含まれる可能性があるため、アクセス制御、保存期間、個人情報のマスキングなども設計する必要があります。
また、LLM評価ではLLM-as-a-Judge自体にも評価基準や判定のばらつきがあるため、人間による評価と組み合わせて運用することが重要です。
まとめ：MLflowはAI開発・運用の統合基盤へ
MLflowは、機械学習の実験管理からスタートしたMLOpsツールですが、2026年現在はLLMやAIエージェントまで対象を広げています。
特に重要なのが、Tracking、Model Registry、Tracing、Evaluation、Prompt Registry、Evaluation Datasetです。
従来型MLでは実験とモデルを管理し、生成AIではプロンプトやTraceを記録し、Evaluationによって品質を継続的に測定するという使い方ができます。
さらにMLflow 3.15でMCP Registryが登場し、AIエージェントが利用する外部ツールやMCPサーバーの管理にも対象が広がりました。
2026年9月時点のMLflow 3.xを理解するポイントは、単なる「機械学習モデル管理ツール」と考えないことです。AIを開発し、実行を観測し、評価し、改善し、その履歴を管理するためのAIプラットフォームとして捉えることで、MLflowの現在の価値が見えてきます。
MLOps、LLMOps、RAG、生成AI、AIエージェント、AIガバナンスといった領域を学ぶうえでも、MLflowは押さえておきたい重要なキーワードの一つです。
