利用HuggingFace 的变压器为开源计算机视觉提供动力

在我们继续探索YOLO VISION 2023(YV23) 活动亮点的同时，让我们来认识一下Merve Noyan，她是 HuggingFace 的开发人员宣传工程师。 HuggingFace的开发者宣传工程师 Merve Noyan。在她的演讲中，Merve 分享了她对开源计算机视觉世界的一些令人难以置信的见解。 

加入我们，踏上穿越迁移学习、transformers 和开源计算机视觉生态系统的奇妙旅程。

迁移学习揭秘：快速回顾

Merve 首先简要介绍了迁移学习，这是一种神奇的方法，允许我们将知识从一个神经网络迁移到另一个神经网络。想象一下，在一个模型的早期层中训练通用特征（如边缘和角），然后针对特定任务对其进行微调。这就是迁移学习的本质，减少了数据依赖性并提高了准确性。

Merve 强调了经典的卷积骨干网络，如 ResNet 和 Inception，为未来的变革之旅奠定了基础。

进入 Transformers：一个谜题的揭晓

变形金刚有何特别之处？Merve 将其比作一个谜语，展示了它们与传统卷积模型的不同之处。秘诀在于它们能够进行自我监督学习，无需标注数据即可捕捉特征。在她介绍的transformer模型中，有 VisionTransformer、Data EfficientTransformer、CLIP 和 SWIM CLIP 等明星产品。 

与Ultralytics 建立了一些共同点，后者为对象检测设计的transformer 模型 提供支持。该模型具有有效的混合编码器、IOU 感知查询选择和可调推理速度。值得注意的是，它遵循了其他 Ultralytics YOLOv8模型，提供预测、训练、验证和输出选项。

您的一站式商店

随后，Merve 深入了解了HuggingFace 的产品宝库，其中有 8000 多个用于经典计算机视觉任务的模型和 10,000 多个用于多模态应用的模型。HuggingFace 中枢拥有多达 3,000 多个数据集，是开发人员和爱好者的乐园。Merve 强调，HuggingFace 的一致 API 提供了无缝体验，为各种用例提供了随时可用的模型。

与HuggingFace一起动手变魔术

讲座过渡到实际演示，展示了如何毫不费力地使用模型。从实例化模型和处理器到使用 Trainer API 进行微调，Merve 清楚地表明HuggingFace Transformers 库是开发人员最好的朋友。她甚至介绍了个人最喜欢的管道应用程序接口（Pipeline API），简化了用户的工作流程。

应用场景一览

最后，Merve 介绍了一些神奇的应用，包括用于视觉问题解答的 Plot 模型、用于图像字幕的 Blip 以及用于图像分割的强大的 Segment Anything 模型。HuggingFace 生态系统的管道应用程序接口（Pipeline API）成为焦点，它使模型的使用变得轻而易举，无需深入研究技术细节。

锦上添花的是 Merve 展示了如何使用 Elysian Diffusion 创建光学错觉，这是一种引人入胜的体验，为人工智能世界增添了有趣的色彩。

总而言之！

总之，Merve 的演讲让我们深受启发，迫不及待地想要探索开源计算机视觉的无限可能性。HuggingFace 确实让人工智能变得易用、有趣和令人兴奋，让开发人员能够释放他们的创造力。让我们为开源社区的未来和它所带来的令人难以置信的创新干杯！ 

点击此处观看完整演讲！