Hugging Faceのトランスフォーマーによるオープンソースコンピュータビジョンの強化

YOLO VISION 2023 (YV23) イベントのハイライトの探索を続ける中で、言語アプリケーションの効率的な開発のための事前学習済みモデルを提供する主要なNLPプラットフォームである Hugging Face のDeveloper Advocacy Engineerである Merve Noyan 氏をご紹介します。Merve 氏の講演では、オープンソースのコンピュータビジョンの世界に関する素晴らしいインサイトが共有されました。

転移学習、Transformer、およびオープンソースのコンピュータビジョンのエコシステムの魅惑的な世界への旅にご参加ください。

転移学習の解明：簡単なまとめ#

Merve氏は、あるニューラルネットワークから別のネットワークへ知識を移転させる魔法の杖である「転移学習」の簡単な入門から話を始めました。モデルの初期層にあるエッジやコーナーのような汎用的な特徴量を学習させ、その後、特定のタスクに合わせてファインチューニングを行う様子を想像してみてください。これこそが転移学習の本質であり、データ依存性を減らし、精度を向上させます。

Merve氏は、ResNetやInceptionといった古典的な畳み込みバックボーンを取り上げ、今後の変革的な旅の舞台を整えました。

Transformerの登場：解き明かされた謎#

Transformerの何が特別なのでしょうか？Merve氏はこれを謎解きに例え、従来の畳み込みベースのモデルとどのように異なるのかを示しました。その秘密は、ラベル付きデータを必要とせずに特徴量を捉える「自己教師あり学習」を実行する能力にあります。Vision Transformer、Data Efficient Transformer、CLIP、そしてSwin Transformerなどが、彼女が紹介したTransformerベースのモデルの主役たちでした。

物体検出向けに設計された Transformerモデル のサポートを提供する Ultralytics と共通の基盤を築きます。このモデルは、効果的なハイブリッドエンコーダー、IOU認識型クエリ選択、および調整可能な推論速度を備えています。特筆すべきことに、他の Ultralytics YOLOv8 モデルのおなじみパターンを踏襲しており、予測、トレーニング、検証、およびエクスポートのオプションを提供します。

ワンストップショップ#

次にMerve氏は、Hugging Faceが提供する宝の山について深く掘り下げました。古典的なコンピュータビジョンタスク向けに8,000以上のモデル、マルチモーダルアプリケーション向けに10,000以上のモデルが揃っています。Hugging Face Hubは3,000以上のデータセットを誇り、開発者や愛好家にとっての遊び場となっています。Merve氏は、Hugging Faceの一貫したAPIのおかげで、さまざまなユースケースで即座に使用できるモデルが提供され、シームレスな体験ができることを強調しました。

Hugging Faceで実践する魔法#

講演は実演に移り、モデルをいかに簡単に扱えるかを示しました。モデルやプロセッサのインスタンス化から、Trainer APIを使用したファインチューニングまで、Hugging FaceのTransformersライブラリが開発者の強力な味方であることを明らかにしました。さらに、ユーザーのワークフローを簡素化する個人的なお気に入りであるPipeline APIも紹介されました。

図1. マドリードのGoogle for Startups Campusで開催されたYV23で登壇するMerve Noyan氏。

アプリケーションの紹介#

Merve氏は、視覚的質問応答のためのPlotモデル、画像キャプション生成のためのBlip、そして強力な画像セグメンテーションのためのSegment Anythingモデルなど、素晴らしいアプリケーションの紹介で講演を締めくくりました。Hugging FaceエコシステムのPipeline APIが注目を集め、技術的な詳細を深く掘り下げることなく、簡単にモデルを利用できることを示しました。

最後に、Merve氏がElysian Diffusionを使って錯視を作成する実演を見せてくれたことは、AIの世界に楽しいひねりを加える魅力的な体験となりました。

要約すると！#

結論として、Merve 氏の講演は私たちにインスピレーションを与え、オープンソースのコンピュータビジョンの無限の可能性を探索したくさせました。Hugging Face は本当にAIをアクセスしやすく、楽しく、エキサイティングなものにしており、開発者が創造力を発揮できるように支援しています。オープンソースのコミュニティの未来と、それがもたらす信じられないほどのイノベーションに乾杯します！

Hugging Face のコンピュータビジョンに関する講演のフルバージョンを見る！