利用 HuggingFace 的变压器为开源计算机视觉提供动力

在我们继续探索YOLO VISION 2023（YV23）活动亮点的同时，让我们来认识一下HuggingFace 的开发者宣传工程师Merve Noyan。HuggingFace 是领先的 NLP 平台，提供预训练模型，用于高效开发语言应用程序。在她的演讲中，Merve 分享了她对开源计算机视觉世界的一些令人难以置信的见解。 

欢迎加入我们的行列，我们将带您领略转移学习、变压器和开源计算机视觉生态系统的迷人魅力。

迁移学习亮相：快速回顾

梅尔夫首先简要介绍了迁移学习，它是让我们将知识从一个神经网络迁移到另一个神经网络的法宝。试想一下，在早期层中根据通用特征（如边和角）训练一个模型，然后针对特定任务对其进行微调。这就是迁移学习的精髓，它可以减少数据依赖性，提高准确性。

Merve 重点介绍了 ResNet 和 Inception 等经典卷积骨干，为未来的转型之旅奠定了基础。

进入变形金刚谜底揭晓

变形金刚有何特别之处？Merve 将其比作一个谜语，展示了它们与传统卷积模型的不同之处。秘诀在于它们能够进行自我监督学习，无需标注数据即可捕捉特征。在她介绍的基于变压器的模型中，有 Vision Transformer、Data Efficient Transformer、CLIP 和 SWIM CLIP 等明星产品。 

与 Ultralytics 建立了一些共同点，后者为对象检测设计的转换器模型 提供支持。该模型具有有效的混合编码器、IOU 感知查询选择和可调推理速度。值得注意的是，它采用了其他Ultralytics YOLOv8模型所熟悉的模式，提供了预测、训练、验证和导出选项。

一站式服务

随后，Merve 深入了解了 HuggingFace 的产品宝库，其中有 8000 多个用于经典计算机视觉任务的模型和 10,000 多个用于多模态应用的模型。HuggingFace 中枢拥有多达 3,000 多个数据集，是开发人员和爱好者的乐园。Merve 强调，HuggingFace 的一致 API 提供了无缝体验，为各种用例提供了随时可用的模型。

与拥抱脸一起动手变魔术

讲座过渡到实际演示，展示了如何毫不费力地使用模型。从实例化模型和处理器到使用 Trainer API 进行微调，Merve 清楚地表明 HuggingFace Transformers 库是开发人员最好的朋友。她甚至介绍了个人最喜欢的管道应用程序接口（Pipeline API），简化了用户的工作流程。

应用一瞥

最后，Merve 介绍了一些神奇的应用，包括用于视觉问题解答的 Plot 模型、用于图像字幕的 Blip 以及用于图像分割的强大的 Segment Anything 模型。HuggingFace 生态系统的管道应用程序接口（Pipeline API）成为焦点，它使模型的使用变得轻而易举，无需深入研究技术细节。

最精彩的是，Merve 展示了利用极乐世界扩散技术创造光学幻觉的过程，这种令人着迷的体验为人工智能世界增添了乐趣。

一言以蔽之

总之，Merve 的演讲让我们深受启发，迫不及待地想要探索开源计算机视觉的无限可能性。HuggingFace 确实让人工智能变得易用、有趣和令人兴奋，让开发人员能够释放他们的创造力。让我们为开源社区的未来和它所带来的令人难以置信的创新干杯！ 

点击这里观看整个讲座！