v0.9.6リリースでは、Qt AI AssistantにGPT-5およびGPT-OSSのサポートが追加されました。GPT-5は、GPT-4oと比較してQMLコーディング性能を12%向上させます。GPT-OSS 20Bは、開発者が自身のコンピューター上でホストできる、プロンプト向けの初のロイヤリティフリーLLMです。
GPT-5は、プロンプトに基づくQMLプログラミングのQML100ベンチマークにおいて59%の成功率を達成しました。この性能はGemini 2.5 Proと同等レベルです。QML100ベンチマークで77%を達成したClaude Sonnet 4には及ばないものの、GPT-4oと比較して大幅な改善が見られます。GPT-5のトレーニングデータは依然としてQt5準拠コードに重点が置かれているため、RegularExpressionValidator、MessageDialog、MultiEffect などQMLタイプにおけるQt6構文の適用には弱点が見られます。
QML100プロンプトベースQMLコーディング性能ベンチマーク - 2025年9月
QMLコード補完におけるQML100FIMベンチマークでは、GPT-5はGPT-4oより11%優れた73%の性能を達成しましたが、インデントと改行の処理が課題となっています。このため、コード補完タスクにおいてはGPT-5を「実験的」と位置付けました。
QMLコード補完性能に関するQML100FIMベンチマーク - 2025年9月
QMLコード補完に関しては、Qtは既に開発者環境（GPUアクセラレーションが利用可能な場合）にローカル展開可能な微調整済みモデル（例：CodeLlama 13B QML）を提供しております。GPT-OSS 20Bは、自然言語リクエスト/プロンプトに基づく専門的助言をローカル環境で展開可能な初のロイヤリティフリーLLMです。
GPT-OSS 20Bは、GPT-4oと同等の妥当なQMLコード品質を提供します。ロイヤリティフリーのGPT-OSS 20Bは、QML100ベンチマークにおいて46%の成功率を達成しました。GPT-4oの47%と比較し、ロイヤリティフリーモデルであることを考慮すると、小型言語モデルへの移行傾向を示す良好な性能と言えます。特筆すべきは、Qt AI Assistantと組み込みリンターを併用することで、GPT-OSS 20B利用時のQML100ベンチマークにおけるコーディング性能が最大54%向上する点です。
GPT-OSS 20Bはプロンプト内の指示を十分に「聞き取れません」。複数の指示がある場合、それらの一部を不規則に無視する可能性があります。コード補完機能については、プロンプトによる指示を適切に実行できませんでした。インデントや改行の問題により、GPT-OSS 20B をコード補完に使用することは不便で非生産的です。そのため、GPT-OSS のコード補完機能への対応は見送らせていただきます。さらに、複雑な指示に従う能力が不足していることから、Qt6 準拠コードの /qtest および /review タスクに GPT-OSS 20B を使用することは推奨しません。
QMLプログラミング向けのGPT-OSS 20Bのトレーニングデータは明らかに時代遅れであり、Qt 5を強く反映しており、GPT-5向けデータよりもさらに古くなっています。また、GPT-OSS 20Bは推論時にパラメータの一部のみを活性化する「Mixture of Experts」モデルであるものの、デバイス上でモデル全体をメモリにロードする必要がある点にも留意が必要です。これにより、当社のCodeLlama 13Bおよび7Bモデルと比較して、大幅に多くのメモリ割り当てが要求されます。ほとんどの開発者の方々は、ご自身のコンピューター上で満足のいく推論性能でGPT-OSS 20Bを実行できないとお気づきになるでしょう。例えばApple MacBook Pro M4 Pro（メモリ48GB）では良好に動作しますが、現時点で最新かつ最高スペックのマシンを所有する開発者はごく少数でしょう。
要約しますと、GPT-OSS 20BはQMLプログラミングに関する専門的助言を提供する、初のロイヤリティフリーかつローカル実行可能な大規模言語モデルです。ただし前述の制限事項が存在します。小型専用モデルへの道筋を示す一方で、そのトレーニングデータの更新が求められています。
Qt Creator 17.0.1以降のバージョンでは、Qt Creatorの「拡張機能」ビューからQt AI Assistant v0.9.6をインストール（またはアップグレード）できます。拡張機能用に外部リポジトリの使用を有効にすることをお忘れなく。