Глава 8 · Часть II. Как собрать управляемый контур работы с большими языковыми моделями
Базовая глава · управление ИИ
Система управления применением ИИ: кто отвечает за ИИ, данные, риски и результат
Система управления применением ИИ — это не комитет по инновациям и не формальный регламент. Это операционная система управления сценария применения ИИми: владельцы, данные, контуры, риск, метрики, приемка, аудит, инциденты и вывод сценария из эксплуатации.
Организации часто запускают пилоты применения ИИ быстрее, чем успевают определить ответственность. Кто владеет сценарием? Какие данные разрешены? Где проходит граница автоматизации? Кто проверяет ответ? Как расследуется ошибка? Какой уровень автономности допустим? Что делать, если модель стала отвечать хуже после обновления корпуса знаний? Без таких ответов ИИ становится не ускорителем управляемости, а новым источником непрозрачности.
Система управления применением ИИ нужен до масштабирования, а не после инцидента. Его задача — сделать сценарии применения ИИ видимыми, измеримыми и управляемыми. шлюз доступа к большим языковым моделям применяет политики технически, но сами политики, владельцев, пороги риска и порядок приемки утверждает управленческий контур.
Краткие выводы для ЛПР
- У каждого сценария применения ИИ должен быть владелец. Владелец отвечает за цель, данные, контур, качество, риск, приемку и эксплуатационный результат.
- Система управления применением ИИ отделяет черновик от решения. Модель может подготовить проект, классифицировать или найти источник, но юридически, финансово, медицински и технологически значимые решения утверждаются человеком.
- Реестр сценариев применения ИИ обязателен. Без реестра организация не знает, где применяется ИИ, какие данные обрабатываются, какие модели используются и какие риски накоплены.
- шлюз не заменяет governance. шлюз — механизм исполнения политики; Governance — система принятия и пересмотра политики.
- Инциденты AI должны расследоваться как управленческие события. Нужны журналы, версии модели, источники, пользователь, данные, результат проверки и действия после инцидента.
1. Паспорт сценария применения ИИ
| Поле | Что фиксируется | Зачем руководителю |
|---|---|---|
| Владелец процесса | Подразделение и должность, отвечающие за результат. | Исключает ситуацию «модель виновата». |
| Владелец данных | Кто отвечает за источник, качество, обновление и доступ. | Связывает ИИ с управлением данными. |
| Цель сценария | Какой процесс ускоряется или улучшается. | Позволяет отличить пилот от полезного продукта. |
| Класс данных | Открытые, внутренние, ПДн, коммерческая тайна, ГИС, КИИ и др. | Определяет допустимый контур и требования ИБ. |
| Контур размещения | Облако, частное облако, во внутреннем контуре организации, изолированный контур. | Управляет риском передачи данных. |
| Модель и версия | Поставщик, модель, версия, параметры, дата обновления. | Позволяет расследовать изменение качества. |
| Источники знаний | корпус проверенных источников для ответов модели, регламенты, документы, справочники. | Делает ответ проверяемым. |
| Уровень автономности | Черновик, подсказка, классификация, рекомендация, действие. | Задает границу человеческой проверки. |
| Метрики качества | Точность, полнота, доля ошибок, скорость, стоимость, возвраты. | Связывает AI с приемкой и эффектом. |
| Порядок отключения | Кто и при каких условиях останавливает сценарий. | Управляет риском деградации и инцидентов. |
2. Матрица риска сценариев применения ИИ
| Класс | Пример | Требования |
|---|---|---|
| Низкий | Черновики открытых текстов, обучение, публичные материалы. | Базовая политика, запрет чувствительных данных, логирование. |
| Средний | Внутренние документы, база знаний, классификация обращений. | Поиск по проверенным источникам перед ответом модели по утвержденным источникам, владелец, контроль качества, шлюз. |
| Высокий | Персональные данные, договоры, финансы, медицинская или социальная информация. | Защищенный контур, обязательная проверка человеком, юр./проверка службой информационной безопасности, аудит. |
| Критический | КИИ, технологический контур, решения с прямым воздействием на права, деньги, здоровье или безопасность. | Отдельная оценка допустимости; по умолчанию запрет автономных действий; изоляция, регламент, независимая приемка. |
3. Роли в система управления применением ИИ
Руководитель / владелец результата утверждает приоритеты, эффект и допустимый риск. ИТ-директор и директор по цифровой трансформации отвечает за архитектуру, интеграции, жизненный цикл и эксплуатацию. ИБ отвечает за модель угроз, контуры, контроль утечек данных, журналы и инциденты. Владелец данных отвечает за источники, качество и доступ. Юристы и комплаенс проверяют правовые основания и ограничения. Внутренний аудит проверяет исполнение правил. Пользователь несет ответственность за применение результата в своем процессе.
Главный риск проекта ИИ — не галлюцинация модели, а отсутствие владельца результата.
4. Управление инцидентами
инцидент с ИИ — это не только технический сбой. Это неверный ответ, утечка чувствительных данных, ответ без источника, обход прав доступа, использование запрещенного контура, применение черновика как решения, деградация качества после обновления, конфликт между источниками знаний.
Для расследования нужны журналы: пользователь, роль, запрос, класс данных, модель, версия, источники поиск по проверенным источникам перед ответом модели, ответ, примененная политика, действия пользователя и итог проверки. При этом сами журналы должны защищаться: запросы к модели и ответы могут содержать чувствительную информацию.