Hugging FaceのTransformerで支えるオープンソースのコンピュータービジョン

YOLO VISION 2023（YV23）イベントのハイライトを引き続きご紹介します。Hugging FaceのDeveloper Advocacy EngineerであるMerve Noyanをご紹介します。Hugging Faceは、言語アプリケーションを効率よく開発するための事前学習済みモデルを提供する、主要なNLPプラットフォームです。講演でMerveは、オープンソースのコンピュータービジョンの世界について、数々の素晴らしい知見を共有しました。

転移学習、Transformer、オープンソースのコンピュータービジョンエコシステムの魅力的な世界を一緒に探っていきましょう。

転移学習を解説：簡単なおさらい#

Merveはまず、あるニューラルネットワークから別のニューラルネットワークへ知識を移せる魔法の杖、転移学習の簡単な解説から始めました。エッジやコーナーなど、初期層で普遍的な特徴をモデルに学習させ、その後、特定のタスク向けにファインチューニングする様子を想像してみてください。これが転移学習の本質であり、データへの依存を減らして精度を高めます。

MerveはResNetやInceptionなどの古典的な畳み込みバックボーンを取り上げ、これから始まる革新的な展開への基礎を築きました。

Transformerの登場：謎を解き明かす#

Transformerの何が特別なのでしょうか。Merveは、従来の畳み込みベースのモデルとの違いを示しながら、その仕組みを謎解きになぞらえました。その鍵は、ラベル付きデータを必要とせずに特徴を捉える、自己教師あり学習の能力にあります。Vision Transformer、Data Efficient Transformer、CLIP、Swin Transformerなど、Transformerベースのモデルが紹介されました。

物体検出用に設計されたTransformerモデルをサポートするUltralyticsと共通点を見ていきましょう。このモデルは、効果的なハイブリッドエンコーダー、IoUを考慮したクエリ選択、調整可能な推論速度を備えています。特筆すべき点として、ほかのUltralytics YOLOv8モデルと同じおなじみのパターンに従っており、予測、トレーニング、検証、エクスポートの各機能を利用できます。

あらゆるニーズに対応するワンストップサービス#

続いてMerveは、Hugging Faceが提供する豊富なリソースを掘り下げました。従来型のコンピュータービジョンタスク向けに8,000以上、マルチモーダルアプリケーション向けに10,000のモデルが提供されています。Hugging Face Hubには3,000を超えるデータセットがあり、開発者や愛好家にとって格好の環境となっています。Merveは、Hugging Faceの一貫したAPIのおかげで、さまざまなユースケース向けのモデルをすぐに利用でき、シームレスな体験が得られることを強調しました。

Hugging Faceで実践するモデル活用#

講演は実践的なデモへと移り、モデルをいかに簡単に扱えるかが紹介されました。モデルやプロセッサのインスタンス化からTrainer APIを使ったファインチューニングまで、MerveはHugging Face Transformersライブラリが開発者にとって頼れる存在であることを示しました。さらに、ユーザーのワークフローを簡素化するPipeline APIも紹介しました。これはMerveのお気に入りの機能の1つです。

図1. マドリードのGoogle for Startupsキャンパスで開催されたYV23で発表するMerve Noyan。

応用例を垣間見る#

Merveは講演の締めくくりに、視覚的な質問応答を行うPlotモデル、画像キャプション生成を行うBlip、画像セグメンテーションに優れたSegment Anythingモデルなど、素晴らしい応用例を紹介しました。Hugging Face EcosystemのPipeline APIが注目を集め、技術的な詳細に深く踏み込まずにモデルを簡単に利用できることが示されました。

最後にMerveは、Elysian Diffusionで錯視を作成する方法を披露しました。これは、AIの世界に楽しいひねりを加える魅力的な体験です。

要するに！#

結論として、Merveの講演は、オープンソースのコンピュータービジョンが持つ無限の可能性を探求したいという意欲をかき立て、私たちにインスピレーションを与えてくれました。Hugging FaceはAIを誰もが利用できる、楽しく刺激的なものにし、開発者が創造性を発揮できるようにしています。オープンソースのコミュニティの未来と、そこから生まれる素晴らしいイノベーションに期待しましょう！

Hugging Faceのコンピュータービジョン講演の全編を見る！