AI Safety

Изучи основные столпы безопасности ИИ, включая согласованность и надежность. Узнай, как развертывать надежные модели с помощью Ultralytics YOLO26 и обеспечивать отказоустойчивость ИИ.

Безопасность ИИ — это междисциплинарная область, направленная на то, чтобы системы искусственного интеллекта (ИИ) работали надежно, предсказуемо и приносили пользу. В отличие от кибербезопасности, которая защищает системы от внешних атак, безопасность ИИ решает риски, присущие самому проектированию и функционированию системы. Это включает предотвращение непредвиденных последствий, возникающих из-за несоответствия целей, недостаточной устойчивости в новых условиях или сбоев в обобщении глубокого обучения (DL). По мере того как модели становятся все более автономными, исследователи в таких организациях, как Center for Human-Compatible AI, работают над тем, чтобы эти технологии соответствовали намерениям человека и стандартам безопасности.

Link to this sectionКлючевые принципы безопасного ИИ#

Создание безопасной системы требует решения ряда технических задач, выходящих за рамки простых метрик точности. Эти принципы гарантируют, что модели машинного обучения (ML) остаются под контролем даже при развертывании в сложных реальных сценариях.

Устойчивость: Безопасная модель должна сохранять производительность при столкновении с поврежденными входными данными или изменениями среды. Это включает защиту от состязательных атак, когда тонкие манипуляции с входными данными могут обмануть модель, заставляя ее допускать ошибки с высокой степенью уверенности.
Согласованность: Этот принцип гарантирует, что цели ИИ соответствуют истинным намерениям разработчика. Несоответствие часто возникает в обучении с подкреплением когда система учится «хитрить» со своей функцией вознаграждения — например, робот-уборщик разбивает вазу, чтобы быстрее закончить уборку. Для смягчения этого используются такие методы, как обучение с подкреплением на основе отзывов людей (RLHF).
Интерпретируемость: Также известная как объяснимый ИИ (XAI), она предполагает создание прозрачности в моделях «черного ящика». Визуализация карт признаков позволяет инженерам понять процесс принятия решений, гарантируя, что модель не полагается на ложные корреляции.
Мониторинг: Непрерывный мониторинг моделей необходим для обнаружения дрейфа данных. Протоколы безопасности должны запускать оповещения или резервные механизмы, если реальные данные начинают значительно отклоняться от обучающих данных.

Link to this sectionРеальные приложения#

Безопасность ИИ имеет первостепенное значение в критически важных областях, где сбой алгоритма может привести к физическому ущербу или значительным экономическим потерям.

Автономные транспортные средства: В области ИИ в автомобилестроении системы безопасности определяют, как автомобиль реагирует на неопределенность. Если модель обнаружения объектов не может идентифицировать препятствие с высокой уверенностью, система должна перейти в безопасное состояние, например, затормозить, а не пытаться угадать. Руководство NHTSA по автоматизированным транспортным средствам подчеркивает важность этих отказоустойчивых механизмов.
Медицинская диагностика: При применении ИИ в здравоохранении безопасность предполагает минимизацию ложноотрицательных результатов при критических диагнозах. Системы часто настраиваются на высокий recall, чтобы гарантировать, что ни одно потенциальное заболевание не будет пропущено, эффективно функционируя как «второе мнение» для врачей. Регулирующие органы, такие как FDA Digital Health Center, устанавливают строгие стандарты для программного обеспечения как медицинского изделия (SaMD).

Link to this sectionВнедрение порогов безопасности#

Одним из самых базовых механизмов безопасности в компьютерном зрении является использование порогов уверенности. Отфильтровывая прогнозы с низкой вероятностью во время инференса, разработчики предотвращают действия систем на основе ненадежной информации.

Следующий пример демонстрирует, как применить фильтр безопасности с помощью Ultralytics YOLO26, гарантируя, что обрабатываются только надежные детекции.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Link to this sectionБезопасность ИИ против этики ИИ#

Хотя эти термины часто используются как взаимозаменяемые, они касаются разных аспектов ответственного использования ИИ.

Безопасность ИИ — это техническая инженерная дисциплина. Она задает вопрос: «Будет ли эта система работать корректно, не вызывая аварий?» Она имеет дело с такими проблемами, как галлюцинации моделей и безопасное исследование в обучении с подкреплением.
Этика ИИ — это социотехническая база. Она задает вопрос: «Должны ли мы создавать эту систему и является ли она справедливой?» Она фокусируется на таких вопросах, как алгоритмическая предвзятость, права на конфиденциальность и справедливое распределение выгод, как это описано в Законе ЕС об ИИ.

Link to this sectionВзгляд в будущее#

По мере того как отрасль движется к искусственному общему интеллекту (AGI), исследования в области безопасности становятся все более критичными. Организации могут использовать платформу Ultralytics для управления своими наборами данных и контроля развертывания моделей, гарантируя, что их ИИ-решения остаются надежными, прозрачными и соответствующими стандартам безопасности на протяжении всего их жизненного цикла.