Transparency in AI

Прозрачность ИИ — это открытость в отношении того, как создают, обучают, оценивают и используют систему искусственного интеллекта (AI), а также информирование людей о том, что они взаимодействуют с такой системой. Прозрачность дает ответы на вопросы обо всей системе: на каких данных обучали модель, кто и с какой целью ее создал, насколько хорошо и для кого она работает, для чего ее не следует использовать и были ли собеседник, изображение или решение созданы с помощью ИИ. Благодаря прозрачности пользователи могут адекватно оценивать доверие к системе, аудиторы и регулирующие органы — проверять ее заявления, а исследователи — находить недостатки, например алгоритмическую предвзятость. Поэтому Принципы ОЭСР в области ИИ и большинство других подходов к этике ИИ относят прозрачность к ключевым принципам.

Формы прозрачности#

• Раскрытие информации: Людей уведомляют, когда они взаимодействуют с системой ИИ или видят контент, созданный ИИ. Статья 50 Закона ЕС об ИИ, действующая с 2 августа 2026 года, требует, чтобы чат-боты ясно сообщали пользователям, что те общаются с машиной, поставщики генеративных систем помечали результаты в машиночитаемом формате, а операторы маркировали дипфейки. Для маркировки применяют такие стандарты, как Content Credentials (C2PA) и водяные знаки ИИ.
• Документация: В карточке модели указывают предполагаемое назначение модели, данные для обучения, результаты оценки с разбивкой по группам и известные ограничения, а технические паспорта датасетов содержат аналогичные сведения о данных: их назначение, состав, способ сбора и рекомендуемые варианты использования. Согласно Закону ЕС об ИИ, поставщики моделей ИИ общего назначения также должны публиковать сводку об обучающих данных по шаблону, выпущенному Европейской комиссией в июле 2025 года.
• Доступ: Публикация весов, кода или данных позволяет сторонним специалистам напрямую изучать модель, воспроизводить и тестировать ее, не полагаясь на отчеты разработчика.
• Объяснение результатов: Отдельные решения можно объяснять с помощью методов объяснимого ИИ (XAI), которые GDPR и Закон ЕС об ИИ требуют применять в некоторых ситуациях с высокими ставками.

Доступность бывает разной. Закрытую модель можно использовать только через API ее разработчика, модель с открытыми весами публикует свои параметры, а Определение ИИ с открытым исходным кодом 1.0 от Open Source Initiative, выпущенное в октябре 2024 года, также требует предоставить полный код обучения и инференса и достаточно сведений об обучающих данных, включая их происхождение и обработку, чтобы квалифицированный специалист мог создать существенно эквивалентную систему:

Прозрачность и объяснимость#

Эти понятия пересекаются и иногда используются вместе, например в выражении «прозрачность и объяснимость». Прозрачность относится к системе и процессу ее создания и сохраняет значение, даже если модель никто не может интерпретировать, например когда разработчик документирует обучающие данные и результаты тестирования. Объяснимость касается причин конкретного результата модели, например того, какие пиксели повлияли на классификацию. Интерпретируемые модели, например небольшие деревья решений, понятны по своей конструкции, а механистическая интерпретируемость позволяет восстановить внутренние схемы работы больших сетей методом обратного проектирования. Происхождение данных — сведения о том, откуда поступили данные и как они менялись, — составляет значительную часть содержимого отчетов о прозрачности.

Документация, которая сопровождает модель#

Документация наиболее полезна, когда остается связанной с моделью после развертывания. Ultralytics YOLO26 записывает в каждую экспортированную модель описание модели и обучающего датасета, версию библиотеки, дату экспорта, задачу, размер входных данных и названия классов — например, в свойства метаданных файла ONNX. Ultralytics считывает эти поля, чтобы правильно запустить модель:

import onnx
from ultralytics import YOLO

# Export YOLO26 to ONNX; the exporter embeds provenance metadata in the file
model = YOLO("yolo26n.pt")
onnx_path = model.export(format="onnx")

# Anyone holding only the exported file can read where it came from
metadata = {prop.key: prop.value for prop in onnx.load(onnx_path).metadata_props}
for key in ("description", "author", "version", "date", "task", "imgsz"):
    print(f"{key}: {metadata[key]}")

Выведенные поля указывают модель, данные для ее обучения, программу, с помощью которой ее экспортировали, и время экспорта — без доступа к исходному запуску обучения.

Оценка прозрачности#

Индекс прозрачности базовых моделей Стэнфордского университета оценивает ведущих разработчиков ИИ по 100 показателям, охватывающим данные и вычислительные ресурсы, использованные для создания их флагманских моделей, сами модели и их применение после выпуска. В выпуске за 2025 год, где оценили 13 разработчиков, средний балл снизился с 58 в 2024 году до 40 из 100. Разработчики проявили наименьшую открытость в отношении обучающих данных и вычислительных ресурсов для обучения, а IBM получила наивысший балл индекса — 95.