概要
NVIDIA TensorRTを利用してComfyUIの生成速度を劇的に向上させつつ、Refit技術によりLoRAの適用やモデル切り替えも柔軟に行えるカスタムノードの紹介。
詳細内容
### 概要
ComfyUIでTensorRTによる高速推論を実現しながら、従来技術では困難だったLoRAの適用やAnima2Bなどの特定モデルへの対応を可能にするカスタムノード「ComfyUI-TensorRT-Reforge」の解説記事です。開発者自ら、導入方法から技術的な仕組みまでを網羅しています。
### 主な特徴
- **高速化と柔軟性の両立**: TensorRTの「Refit」機能を活用することで、エンジンを再構築することなくLoRAの重みを数秒で更新可能です。
- **幅広いモデル対応**: SD1.5、SDXL、SD3、Flux、SVDに加え、Anima2BやAuraFlowなどの最新モデルもサポートしています。
- **シンプルなワークフロー**: モデルを変換・保存する「Exporter」と、変換済みモデルを読み込む「Loader」の2つのノードで構成されています。
### 技術的ポイント
TensorRTは特定のGPUに最適化された静的なエンジンですが、本ツールは内部の「重み」だけを高速に書き換えるRefit技術を採用しています。これにより、「TensorRTの圧倒的なスピード」と「LoRAによる柔軟な表現」という、これまでトレードオフの関係にあった二つの要素を両立させています。