利用 HuggingFace 的 transformers 为开源计算机视觉提供支持

在继续探索 YOLO VISION 2023 (YV23) 活动的亮点时，让我们来认识一下 Merve Noyan，她是 HuggingFace 的开发者倡导工程师，HuggingFace 是领先的 NLP 平台，提供预训练模型，可用于高效开发语言应用程序。在她的演讲中，Merve 分享了关于开源计算机视觉领域的一些令人难以置信的见解。 

加入我们，踏上穿越迁移学习、transformers 和开源计算机视觉生态系统的奇妙旅程。

迁移学习揭秘：快速回顾

Merve 首先简要介绍了迁移学习，这是一种神奇的方法，允许我们将知识从一个神经网络迁移到另一个神经网络。想象一下，在一个模型的早期层中训练通用特征（如边缘和角），然后针对特定任务对其进行微调。这就是迁移学习的本质，减少了数据依赖性并提高了准确性。

Merve 强调了经典的卷积骨干网络，如 ResNet 和 Inception，为未来的变革之旅奠定了基础。

进入 Transformers：一个谜题的揭晓

Transformer 的特别之处是什么？Merve 将其比作一个谜，展示了它们与传统的基于卷积的模型有何不同。其秘诀在于它们执行自监督学习的能力，无需标记数据即可捕获特征。Vision Transformer、Data Efficient Transformer、CLIP 和 SWIM CLIP 是她介绍的基于 Transformer 的明星模型。 

与 Ultralytics 奠定一些共同基础，Ultralytics 为Transformer 模型提供支持，该模型专为目标检测而设计。该模型具有有效的混合编码器、IOU 感知查询选择和可调节的推理速度。值得注意的是，它遵循其他 Ultralytics YOLOv8 模型的熟悉模式，提供预测、训练、验证和导出选项。

您的一站式商店

然后，Merve 深入研究了 HuggingFace 提供的宝藏，其中包含超过 8,000 个用于经典计算机视觉任务的模型和 10,000 个用于多模态应用程序的模型。HuggingFace Hub 拥有惊人的 3,000 多个数据集，使其成为开发人员和爱好者的乐园。Merve 强调了无缝体验，这要归功于 HuggingFace 一致的 API，它为各种用例提供了即用型模型。

HuggingFace 的实践魔力

谈话过渡到实际演示，展示了人们可以多么轻松地使用模型。从实例化模型和处理器到使用 Trainer API 进行微调，Merve 明确表示 HuggingFace Transformers 库是开发人员最好的朋友。她甚至介绍了 Pipeline API，这是她个人最喜欢的 API，简化了用户的工作流程。

应用场景一览

Merve 在演讲结束时简要介绍了几个出色的应用程序，包括用于视觉问答的 Plot 模型、用于图像字幕的 Blip 以及用于图像分割的强大的 Segment Anything 模型。HuggingFace Ecosystem 的 Pipeline API 成为了焦点，使得无需深入研究技术细节即可轻松使用模型。

锦上添花的是 Merve 展示了如何使用 Elysian Diffusion 创建光学错觉，这是一种引人入胜的体验，为人工智能世界增添了有趣的色彩。

总而言之！

总之，Merve的演讲让我们深受启发，并渴望探索开源计算机视觉的无限可能性。HuggingFace 真正使 AI 变得易于访问、有趣和令人兴奋，从而赋能开发者释放他们的创造力。致敬开源社区的未来及其所蕴含的令人难以置信的创新！ 

点击此处观看完整演讲！