借助 Hugging Face 的 Transformer 推动开源计算机视觉发展
回顾 Merve Noyan 在 YOLO Vision 2023 上关于使用 Hugging Face 开展开源计算机视觉的演讲：迁移学习、视觉 Transformer 和 Transformers API。
Nuvola Ladi3 分钟阅读
随着我们继续回顾 YOLO VISION 2023 (YV23) 活动的精彩内容，让我们认识 Hugging Face 的开发者倡导工程师 Merve Noyan。Hugging Face 是领先的 NLP 平台，提供预训练模型，助力高效开发语言应用。Merve 在演讲中分享了她对开源计算机视觉领域的见解。
以下是她关于迁移学习、Transformer 和开源计算机视觉生态系统的演讲回顾。
揭开迁移学习的面纱：快速回顾#
Merve 以迁移学习的简要介绍开场。迁移学习是一种将知识从一个神经网络迁移到另一个神经网络的技术。可以想象，先在早期层训练模型学习边缘和角点等通用特征，然后针对特定任务对模型进行微调。这正是迁移学习的核心，它能够减少对数据的依赖并提高准确率。
Merve 介绍了 ResNet 和 Inception 等经典卷积骨干网络，为随后登场的 Transformer 模型作了铺垫。
走进 Transformer：揭开谜题#
Transformer 有什么特别之处？Merve 用一个谜题来打比方，展示了它们与传统卷积模型的不同之处。Transformer 的一项关键优势在于能够进行自监督学习，无需标注数据即可提取特征。她介绍的 Transformer 模型包括 Vision Transformer、数据高效图像 Transformer（DeiT）、CLIP 和 Swin Transformer。
Ultralytics 还支持一款用于目标检测的 Transformer 模型：RT-DETR。该模型具有高效的混合编码器、IoU 感知查询选择机制，以及可调节的推理速度。值得注意的是，它遵循其他 Ultralytics YOLOv8 模型熟悉的使用模式，提供预测、训练、验证和导出选项。
一站式解决方案#
随后，Merve 介绍了 Hugging Face 提供的资源：其平台拥有 8,000 多个用于经典计算机视觉任务的模型，以及 10,000 个用于多模态应用的模型。Hugging Face Hub 托管着 3,000 多个数据集，是开发者和爱好者都能受益的实用资源。Merve 强调，得益于 Hugging Face 一致的 API，用户体验十分顺畅，而且能针对各种使用场景获取开箱即用的模型。
用 Hugging Face 动手实践#
演讲接着转向实践演示，展示了使用模型是多么简单。从实例化模型和处理器，到使用 Trainer API 微调，Merve 清楚地表明，Hugging Face Transformers 库是以开发者为中心设计的。她还介绍了自己特别喜欢的 Pipeline API，它简化了用户的工作流。
图 1. Merve Noyan 在马德里 Google for Startups 园区的 YV23 活动上演讲。
应用一览#
Merve 在演讲结束时介绍了一些应用，包括视觉问答模型、用于图像描述的 BLIP，以及用于图像分割的 Segment Anything Model。Hugging Face 生态系统的 Pipeline API 成为焦点，让你无需深入了解技术细节，就能轻松使用模型。
压轴环节是 Merve 展示如何用扩散模型制作视觉错觉，这一引人入胜的体验为 AI 世界增添了趣味。
简单来说！#
总的来说，Merve 的演讲激励我们进一步探索开源计算机视觉的能力。Hugging Face 让 AI 更易于使用，也更有趣，帮助开发者将想法付诸实践。期待开源社区的未来，以及它将带来的创新！
作者
评论
提出问题、分享你的结果，或帮助其他人。
