Jason Lopez: 当初は脳腫瘍の検出とMRIスキャンに重点を置いていたが、機械学習ワークロード用のコンピューティングプラットフォームのベンチマークを行う組織である ML Perf を通じて行われた医療 AI ベンチマークプロジェクトから、Med Perf プラットフォームの物語は本質的に 2020 年に始まりました。Nutanix、Intel、IBM、Google、Dana-Farber Cancer Institute などの組織の人々は、医療におけるベンチマークの成功を再現できないかと考え、医療用 AI への信頼を醸成しながら、実世界の医療データで機械学習モデルをテストできるプラットフォームの構築を目指していました。やがてグループのメンバーは、5 大陸にまたがる 20 以上の組織から、フルタイムのエンジニアとボランティアが参加して、プラットフォームの開発と医療 AI コミュニティ内でのベストプラクティスの確立に取り組むまでになりました。
Alex Karargyris: 私たちは他の人たちと、同じベンチマーク哲学を医療 AI に適用し、コミュニティ全体の能力を拡大する方法について議論していました。どうすれば医療 AI を効率的かつ相互に検証し、プライバシーを保証することができるのか?そこで私たちは 3 年前にこの仮説を検証することにしたのですが、同じ質問をする人がどんどん増えていることがわかりました。グループは 7 人から増え、今では 5 つの大陸にまたがる 20 の組織から参加するようになりました。グループにはフルタイムのエンジニアがおり、また多くのボランティアがプラットフォームの開発やプラットフォーム周辺のベストプラクティス・フレームワークに貢献しています。
Jason Lopez: Med Perf フレームワークは、医療 AI モデルの評価を調整するために設計されたシステムです。Med Perf サーバーと Med Perf クライアントの 2 つの主要コンポーネントで構成され、病院や医療機関に設置される軽量ソフトウェアです。このフレームワークでは、Med Perf サーバー上でモデルの評価を開始し、モデルの重みをダウンロードしてクライアントノードにプッシュすることができます。
Alex Karargyris: そして、クライアントはテストを実行することで、この特定のモデルをデータに対して実行することができます。
Jason Lopez: これは、世界中の病院、大学、研究所で AI を使った医学研究を可能にする基本的なワークフローである。Med Perf のプラットフォームはそれを可能な限りシームレスに実現しますが、最優先されるのはセキュリティとプライバシーであることは間違いありません。
Alex Karargyris: パートナーとともに MET PERF を開発し、プロトタイプを作成する中で、これが第一の課題であることがわかりました。2つ目は、セキュリティとプライバシーに関する大きな懸念で、世界中で規制の枠組みが整備され、セキュリティはより厳しく、より深く考慮しなければならなくなるでしょう。IT チームは、AI もカバーする厳重で総合的なセキュリティを提供する専門的なソリューションを探さなければならないでしょう。重いワークロードをどのように処理しますか?
Jason Lopez: これは課題のひとつです。というのも、多くの医療機関は必ずしも IT 志向ではないことが多いからです。
Alex Karargyris: 彼らはこれを実行するインフラを持っていませんが、このAI のエコシステムに参加したいのだと思います。そのため、クラウド上で非常に信頼性が高く、安全な方法で実行できる方法を探しています。それが、Met PERF が行うトレーニングから検証までのすべてのワークロードなのです。
Jason Lopez: Alex 氏によると、ヘルスケアにおけるワークロードは多種多様であり、必ずしも正しいコンピューティング・プラットフォームが存在するわけではないが、ITの観点からは共通点があるといいます。
Alex Karargyris: リソースのアプリケーション管理の改善。これらの AI システムは非常にリソースを必要とする可能性があり、これらを実行するために GPU をアクセラレーターとして使用する必要があります。多くのクラウド・プロバイダーがこれをサポートしているため、このような価値をもたらすことができるのだと思います。
Jason Lopez: そして、医療 IT の話題の中で常に優先度が高いのは、セキュリティとプライバシーです。
Alex Karargyris: Nutanix のように、セキュアな信頼性実行も重要ですが、容量を削減できることも重要です。当社では、これらのワークロードを実行することができます。Depo 氏はグループの立ち上げからサポートしてくれており、知恵の提供者であり、ヘルスケアのための AI の強力な信奉者であると言える。E メールがなければ、このようなことは不可能でしょう。
Debo Dutta: 私は ML Commons の創設メンバーの一人です。以前は ML Commons とは呼ばれていませんでした。単に ml perf.org と呼ばれていました。私たちは、ML の潮流がすぐにやってくると見ていたので、有意義な方法、再現可能な方法でパフォーマンスを評価する必要があります。 そして時を経て、ML perf は ML Commons へと進化しました。この組織の目標は、パフォーマンス・ベンチマーク、データセット、ベスト・プラクティスなどのオープンな成果物を通じて、基本的に技術の状態を改善し、AI の変革を加速させることです。
Alex Karargyris: MedPerf を使うことで、もしあなたが AI の研究者で、私たちの研究を実施するのであれば、MedPerf は、あなたが多くの研究機関と協力し、今すぐできることよりもはるかに幅広く、多様な患者集団であなたのモデルを評価するのに役立ちます。Mel Commons がコンピューティング・パワー・プラットフォームなど他の分野のベンチマークで行ってきたことと同様に、私たちは中立的で再現可能なベンチマークを作成し、医療AIの有効性の向上に役立てようとしています。
Debo Dutta: というのも、リーダーシップを取り、一流の腫瘍学者や医学研究者、AI 研究者、AI を扱う企業すべてを巻き込んで、1 つの大義に収束させるまでには長い道のりがあったからです。それは、データのプライバシーと患者のプライバシーを尊重し、臨床的にインパクトのあるMLプラットフォームを実際に構築することです。率直に言って、治療、特にがん治療の世界を変える可能性のある次世代 AI モデルを評価することです。ですから、私はとても興奮しています。
Jason Lopez: Debo Dutta 氏は Nutanix のエンジニアリング部門のバイスプレジデントであり、ML Commons の創設メンバーでもあります。Alex Karargyris 氏は、MedPerf 論文の執筆を共同研究者とともに主導し、ML Commons の医療ワーキンググループの共同議長を務めています。論文 "Federated Benchmarking of Medical Artificial Intelligence with MedPerf " は mlcommons.org でご覧いただけます。The Forecast が制作した Tech Barometer ポッドキャストです。私は Jason Lopez です。今後のポッドキャストでは、MedPerf プラットフォームについて、Alex 氏のプロフィールと Debo 氏のプロフィールを紹介する予定です。 それらは forecastbynutanix.com でご覧いただけます。