Инструмент искусственного интеллекта не является безопасным или небезопасным в абстрактном смысле. Риск зависит от конкретного варианта использования, типа учетной записи, плана, введенных данных, маршрута модели, интеграции, разрешений, местоположения, хранения, контракта и решений, принятых на основе выходных данных. Один и тот же продукт может быть приемлемым для проектов публичного маркетинга и неприемлемым для записей пациентов, неопубликованных финансовых результатов, производственных данных или решений о приеме на работу.
В этом руководстве представлен практический процесс проверки поставщиков для команд, внедряющих помощников, генераторов, инструментов кодирования, записывающих устройств, агентов, исследовательских продуктов и платформ анализа данных. Это не юридическая консультация и не заменяет квалифицированную проверку конфиденциальности, безопасности, закупок, трудоустройства, медицинской, финансовой или нормативной проверки. Применимые обязательства различаются в зависимости от юрисдикции, сектора, данных и использования.
Цель не в том, чтобы собрать как можно больше значков безопасности. Речь идет о выработке обоснованного решения: что может использоваться, кем, с какими данными, под каким контролем, как долго и что должно произойти, когда инструмент изменится или произойдет инцидент.
Начните с варианта использования, а не с анкеты поставщика
Прежде чем читать маркетинговые заявления, напишите описание варианта использования на одну страницу. Определите владельца бизнеса, пользователей, затронутых лиц, предполагаемую задачу, входные данные, подключенные системы, полученные выходные данные, человека-контролера, последующие решения, ожидаемый объем и последствия сбоя.
Классифицируйте данные с наибольшим риском, которые могут войти в рабочий процесс, а не только образец, показанный в демонстрации. Учитывайте личные данные, медицинскую и биометрическую информацию, данные детей, финансовые записи, юридические материалы, конфиденциальную информацию клиентов, сообщения сотрудников, исходный код, секреты, неизданную стратегию, лицензионный контент, данные исследований и данные, на которые распространяются ограничения по месту жительства или договорные ограничения.
Затем определите границу одобрения. Продукт может быть одобрен для исследования в открытых источниках, но запрещен для использования в неопубликованных клиентских работах. Помощник по кодированию может быть разрешен для изолированного репозитория, но не для платежной среды. Помощнику на собраниях может быть разрешено совершать внутренние звонки по проекту после уведомления, но ему запрещено присутствовать на клинических, кадровых, юридических заседаниях или заседаниях совета директоров.
Структура управления рисками искусственного интеллекта NIST организует постоянную работу по управлению, картированию, измерению и управлению. Такая структура более полезна, чем единый контрольный список «прошел/не прошел», поскольку риск меняется в зависимости от развертывания и использования.
Сопоставление реального потока данных
Нарисуйте каждую систему, которая может получать или извлекать информацию:
- браузер, настольный компьютер, мобильное устройство, расширение, надстройка, бот, API, CLI, сервер MCP или клиент Slack;
- профиль учетной записи, подсказки, загруженные файлы, исходные репозитории, аудиозаписи собраний, изображения, схемы баз данных и учетные данные;
- индекс поиска, встраивания, временная обработка, хранение продуктов, кэши, журналы, аналитика, обратная связь, мониторинг злоупотреблений и системы поддержки;
- собственные модели, сторонние поставщики моделей, поставщики оптического распознавания символов или транскрипции, поисковые службы, облачная инфраструктура и другие субобработчики;
- созданные выходные данные, экспорт, общие ссылки, общедоступные страницы, веб-перехватчики, подключенные приложения, запланированные отчеты, резервные копии и хранилища удаленных элементов.
Не останавливайтесь на фразе «поставщик использует шифрование». Спросите, какая служба получает каждый класс данных, с какой целью, под какой учетной записью и соглашением и как долго хранится каждая копия. Обещание не проводить обучение отвечает на один целевой вопрос; он не отвечает за хранение, регистрацию, проверку человеком, юридическое раскрытие, аналитику, резервное копирование или удаление.
Проверьте все поверхности отдельно. Потребительская веб-учетная запись, корпоративная рабочая область, API, пользовательский GPT, расширение браузера, мобильное приложение и подключенная сторонняя интеграция могут иметь разных поставщиков, настройки, условия хранения и условия, даже если они принадлежат одному и тому же бренду.
Проверьте контрольный счет, план и соглашение
Определите, кому принадлежит учетная запись и какое юридическое лицо предоставляет услугу. Запишите название плана, маршрут выставления счетов, регион, арендатора, администраторов, принятые условия, форму заказа, дополнение по обработке данных, документ о безопасности, соглашение об уровне обслуживания, соглашение с деловым партнером, если это применимо, а также любые согласованные поправки.
Претензии по конкретному плану имеют значение. «Данные предприятия не используются для обучения по умолчанию» не доказывают того же подхода к бесплатной учетной записи. Страница общей безопасности может конфликтовать со статьей справки по продукту или старой политикой конфиденциальности. Попросите поставщика устранить существенные несоответствия в письменной форме и приложите ответ к протоколу решения.
Не полагайтесь на сообщение продавца, если в контракте указано иное. Установите иерархию доказательств: подписанное соглашение и форму заказа, действующие условия плана, текущую официальную документацию по безопасности и конфиденциальности, официальные справочные материалы, а затем маркетинговые страницы. Сторонние обзоры и фрагменты поиска являются потенциальными, а не контролирующими доказательствами.
Проверьте поведение обновления и перехода на более раннюю версию. Корпоративная конфиденциальность, сохранение, единый вход, аудит или региональные элементы управления могут исчезнуть после окончания пробного периода или изменения плана рабочей области.
Задавайте вопросы о конфиденциальности в зависимости от цели использования данных
Используйте таблицу, которая разделяет вопросы, которые поставщики часто сворачивают:
| Вопрос | Доказательства по запросу | Распространенная ошибка | | --- | --- | --- | | Какие данные собираются? | Инвентаризация полей и событий, включающая подсказки, файлы, выходные данные, метаданные, аналитику, обратную связь и интеграцию | Просмотр только загруженного контента | | Почему обрабатывается каждый тип данных? | Таблица целей для предоставления услуг, безопасности, аналитики, улучшения, обучения, поддержки и соблюдения законодательства | Рассматривая «улучшение услуг» как конкретную цель | | Используются ли данные для обучения моделей? | Условия обучения как для собственных, так и для сторонних организаций, настройки по умолчанию, порядок отказа и дата вступления в силу | Если предположить, что отсутствие обучения означает отсутствие хранения | | Какие провайдеры получают контент? | Текущий список субобработчиков и поставщиков моделей с указанием услуг, местонахождения и процесса уведомления | Проверка только поставщика-подрядчика | | Как долго хранится каждая копия? | Расписание запросов, файлов, вывода, журналов, отзывов, поддержки, внедрения, резервного копирования и данных поставщика | Принятие одного номера хранения для каждого магазина | | Как удаляются данные? | Пользователь, администратор, API, учетная запись, резервная копия, поставщик и процесс удаления при расторжении контракта | Предположим, что при удалении чата удаляются все производные данные | | Где обрабатываются данные? | Регионы хранения и обработки, механизм передачи, удаленная поддержка и расположение поставщиков | Путаница региона хранения со всей обработкой | | Какие права могут осуществлять пользователи? | Доступ, исправление, удаление, возражение, ограничение, переносимость и процесс связи, где это применимо | Предположим, что поставщик автоматически обрабатывает уведомления клиентов |
NIST Privacy Framework отличает риск конфиденциальности от риска кибербезопасности и использует результаты идентификации, управления, контроля, связи и защиты. Система может быть хорошо защищена от вторжения, но при этом наносить ущерб конфиденциальности из-за чрезмерного сбора, неожиданного использования, неточного вывода или непрозрачного принятия решений.
Отдельное обучение, вывод, протоколирование и обратная связь
«Мы не обучаемся на ваших данных» может означать несколько разных вещей. Определите, охватывает ли он собственные базовые модели поставщика, модели для конкретных продуктов, сторонних поставщиков, тонкую настройку, оценку, человеческую проверку, мониторинг злоупотреблений, индексы поиска и аналитику. Проверьте, является ли защита защитой по умолчанию, настройкой, отказом или только условиями корпоративного контракта.
Для вывода по-прежнему требуется, чтобы контент достиг модели или службы обработки. Поставщик может работать с нулевым сроком хранения, временно сохранять данные для мониторинга злоупотреблений или хранить их в соответствии с другим соглашением API. Премиум-модель с поддержкой администратора может использовать другой маршрут из модели по умолчанию.
Обратная связь часто меняет правило. Отправка отрицательного ответа, заявки в службу поддержки, общего разговора или журнала диагностики может разрешить сбор подсказки, файла, вывода и окружающего контекста для проверки. Задокументируйте это для пользователей и отключите дополнительный обмен отзывами, когда этого требует риск.
Никогда не переписывайте «не используется для обучения» как «не хранится», «лично», «не просматривается» или «не отправляется третьим лицам». Каждое утверждение требует отдельных доказательств.
Просмотрите доступ, идентификацию и элементы управления арендатором
При групповом использовании проверяйте идентичность, а не принимайте список функций. Подтвердите протокол единого входа, многофакторную аутентификацию, захват домена, своевременную подготовку, SCIM, дизайн ролей, гостевые ограничения, продолжительность сеанса, политику устройства или сети, учетные записи служб, ключи API, области OAuth и экстренный доступ администратора.
Используйте наименьшие привилегии. Исследовательскому агенту не требуется доступ на запись к производственной базе данных. Помощник по кодированию не должен получать облачные секреты, поскольку он может читать репозиторий. Боту для встреч не нужны все события календаря. Задача пополнения электронных таблиц не должна наследовать доступ ко всем связанным записям клиентов.
Просмотрите границы арендаторов и параметры общего доступа по умолчанию. Протестируйте создание общедоступных ссылок, поисковую индексацию, обнаружение в масштабе рабочей области, экспорт, дублирование, внешних гостей, передачу прав собственности, отзыв, кэшированные копии и увольнение сотрудников. Подтвердите, может ли администратор проверять, экспортировать, сохранять и удалять беседы пользователей.
Журналы аудита должны содержать полезные события: вход в систему, смену администратора, авторизацию интеграции, экспорт данных, общедоступный доступ, действие ключа API, изменение роли, удаление, выполнение агента и конфиденциальную активность соединителя. Проверьте хранение, формат экспорта, оповещения и информацию о том, кто может вмешиваться в журнал.
Рассматривайте агенты и подключенные инструменты как привилегированное программное обеспечение.
Помощник, который только рисует текст, имеет меньшую область действий, чем агент, который читает электронную почту, запрашивает склад, редактирует код, создает учетные записи, публикует сайт, отправляет сообщения или перемещает деньги. Проведите инвентаризацию каждого инструмента, учетных данных, схемы, действия, этапа утверждения, сетевого назначения и канала вывода.
В рейтинге OWASP 10 лучших приложений LLM и генеративного искусственного интеллекта подчеркивается быстрое внедрение, раскрытие конфиденциальной информации, риск цепочки поставок, неправильная обработка результатов, чрезмерное агентство и другие сбои на уровне приложений. Вредоносная инструкция может прийти через веб-страницу, электронную почту, PDF-файл, комментарий к коду, строку базы данных, событие календаря или полученный документ, а не только через приглашение пользователя.
Используйте разрешенные действия, учетные данные только для чтения, ограниченные схемы, изолированный код, проверку URL-адресов и файлов, выходное кодирование, ограничения скорости и стоимости, а также одобрение человеком необратимых или внешних действий. Храните секреты вне подсказок и сгенерированного кода. Не позволяйте выходным данным модели становиться оператором SQL, командой оболочки, фрагментом HTML, изменением разрешения или исходящим сообщением без проверки, соответствующей последствиям.
Протестируйте косвенное внедрение подсказки с помощью контролируемого файла или страницы, которая инструктирует агента игнорировать свою задачу, раскрывать канареечное значение, обращаться к другому источнику или отправлять данные куда-либо еще. Ожидаемый результат — сдерживание, а не просто вежливый отказ в окне чата.
Поймите, что сертификация делает, а что не доказывает
Отчеты SOC 2, сертификаты ISO, тесты на проникновение, центры доверия, отчеты о шифровании, вознаграждения за обнаружение ошибок и аттестации соответствия могут предоставить полезные доказательства. Они не доказывают, что охвачены все поверхности продукта, план, субпроцессор, модель искусственного интеллекта, интеграция или конфигурация клиента.
Запросите область действия, период, юридическое лицо, границы обслуживания, исключения, дополнительные средства управления объектами-пользователями, аудитора и статус исправления. Отчет SOC 2 типа II описывает средства контроля за период в пределах области действия; сам по себе логотип не отображает содержание отчета. Тест на проникновение — это устаревший образец, а не постоянное отсутствие уязвимостей.
Шифрование при хранении и передаче — это базовое свидетельство, а не полный анализ архитектуры. Спросите о владении и ротации ключей, шифровании резервных копий, изоляции клиентов, управлении секретами, разделении среды, безопасной разработке, сканировании зависимостей, реагировании на уязвимости, аварийном восстановлении и административном доступе.
Убедитесь, что ключи, управляемые клиентом, или BYOK охватывают сохраненные данные о продукте, выводы модели или только один уровень. BYOK может изменить стоимость модели и прозрачность поставщика, не удаляя журналы поставщика, полученные данные или хранилище приложений.
Тестирование сохранения и удаления в целом
Создайте таблицу жизненного цикла для каждого хранилища данных: создано, активно, заархивировано, экспортировано, передано в общий доступ, удалено, учетная запись закрыта, контракт закончился, срок действия резервной копии истек и юридическое удержание. Определите действующего лица, которое может инициировать каждый этап и вернуть доказательства.
Запустите тест на удаление с синтетическими канареечными данными. Загрузите файл с уникальным именем, создайте диалог и производный артефакт, поделитесь им, экспортируйте, удалите источник, удалите пользователя, а затем закройте рабочую область, если пилотная версия позволяет. Проверьте пользовательский интерфейс, API, общую ссылку, поиск, интеграцию, представление администратора, маршрут поддержки и подтверждение удаления по договору.
Немедленная потеря доступа пользователя — это не то же самое, что физическое удаление. Служба может сохранять копии для восстановления, журналы безопасности, записи о выставлении счетов или данные поставщика в течение определенных периодов. Это может быть законно, но график, цель, доступ и окончательное удаление должны быть задокументированы.
Также проверьте переносимость. Прежде чем утверждать операционную зависимость, экспортируйте подсказки, идентификаторы источников, файлы, код, рабочие процессы, решения, журналы и конфигурацию в удобные для использования форматы. Проверка конфиденциальности не должна создавать предотвратимую проблему блокировки.
Обращайтесь к прозрачности, законному использованию и затронутым людям
Если речь идет о персональных данных, определите роль организации, цель, правовую основу, где это необходимо, категории данных, затронутых людей, уведомления, процесс прав, хранение, получателей, передачу, а также необходимость оценки воздействия на защиту данных. [Обязательства по защите данных] Европейской комиссии (https://commission.europa.eu/law/law-topic/data-protection/information-business-and-organisations/obligations_en) и [Руководство по прозрачности искусственного интеллекта] ICO (https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we-ensure-transparency-in-ai/) служат официальными отправными точками, но применимость должна определять местный совет.
Согласие на запись собрания не является согласием на любое последующее использование стенограммы. Разрешение на доступ к документу не является разрешением обучать модель, публиковать созданную сводку или делиться ею с другим поставщиком. Публичная веб-страница не освобождается автоматически от авторских прав, договорных ограничений или ограничений в отношении личных данных.
Эффективное использование требует дополнительного рассмотрения. Решения о трудоустройстве, кредите, жилье, образовании, здравоохранении, юриспруденции, страховании, биометрии, безопасности и доступе могут вызвать особые требования и причинить материальный вред. Не используйте результаты AI общего назначения в качестве единственной основы для принятия решений. Определите человеческие полномочия, апелляцию, исправление, тестирование, документацию и условия остановки.
Закон ЕС об искусственном интеллекте использует структуру, основанную на рисках, с требованиями, которые зависят от системы и роли. Не маркируйте рабочий процесс как «соответствующий Закону об искусственном интеллекте» на основании значка поставщика; классифицировать использование, определить, является ли организация поставщиком, развертывателем, импортером или дистрибьютором, где это применимо, и проверить текущие сроки и обязательства.
Оценка претензий поставщиков и рисков на выходе
Федеральная торговая комиссия советует предприятиям соблюдать обещания о конфиденциальности и обеспечивать безопасность, соответствующую хранимым ими данным. В его руководстве Начните с безопасности особое внимание уделяется знанию того, какие данные хранятся, хранению только того, что необходимо, контролю доступа, обеспечению безопасности поставщиков, поддержанию защиты и планированию инцидентов.
Требуйте доказательств для таких заявлений, как «анонимность», «нулевое сохранение», «соответствие HIPAA», «соответствие GDPR», «корпоративная безопасность», «никогда не обучается» или «точность на уровне человека». Спросите, на какую учетную запись, функцию, данные, период и контракт распространяется претензия. Избегайте превращения заявления о продукте в более широкое редакционное заявление.
Проверка безопасности должна включать выходные данные. Сгенерированный код может содержать уязвимости; ответ исследования может привести к фальсификации цитаты; изображение может раскрыть личный исходный материал; резюме может раскрыть конфиденциальный факт; автоматизация может отправить неправильную запись. Определите проверку, модерацию, происхождение, утверждение, мониторинг и откат для фактического места назначения выходных данных.
Запуск контролируемого пилотного проекта с канареечными данными
Используйте общедоступные, синтетические или намеренно созданные данные до тех пор, пока проверка не пройдет проверку. Создавайте канареечные значения, которые никогда не должны появляться за пределами назначенного им документа, клиента, роли или задачи. Не используйте реальные секреты или личные данные в качестве тестовых маркеров.
Проверьте хотя бы эти сценарии:
- Нормальная задача с заведомо правильным выводом и документированным рецензентом.
- Пользователь без разрешения пытается найти, экспортировать или поделиться ограниченным контентом.
- Полученный файл содержит косвенную инъекцию подсказки и запрос на раскрытие канарейки.
- Сгенерированное действие пытается превысить пределы области «только для чтения», разрешенных доменов, стоимости или ограничений получателей.
- Пользователь удаляет исходные данные, производный контент, общие ссылки и учетную запись.
- Администратор удаляет пользователя, меняет учетные данные, отменяет интеграцию и просматривает журналы.
- Изменяются поставщик, модель, условия конфиденциальности, субобработчик или настройки плана.
Записывайте доказательства, а не просто «проходите». Сохраняйте снимки экрана или экспортированные данные, если это разрешено, временные метки событий, записи журнала, идентификаторы запросов, подтверждения удаления, версии политики, рецензент, неустраненные пробелы, компенсирующие элементы управления и дату истечения срока действия утверждения.
Принятие решения об утверждении масштаба
Полезное решение – это один из четырех результатов:
- одобрено для конкретных пользователей, планов, классов данных, интеграций и целей;
- одобрено с такими элементами управления, как отсутствие конфиденциальных данных, доступ только для чтения, обязательная проверка человеком или запрет совместного использования;
- пилотный проект только до тех пор, пока не будут получены оговоренные доказательства или условия контракта;
- отклонено для предполагаемого использования с указанием причины и условия повторной оценки.
Явно перечислите запрещенные виды использования. Назначьте владельца бизнеса, технического владельца, контактное лицо по вопросам конфиденциальности или юридического лица, контактное лицо по вопросам безопасности, дату проверки, канал инцидента и процесс отключения. Пользователям нужна краткая операционная политика, а не весь файл поставщика.
Срок действия утверждения истекает при изменении существенного факта: владельца, условий, политики конфиденциальности, поставщика модели, значения по умолчанию для обучения, субобработчика, региона, инцидента безопасности, области интеграции, архитектуры продукта, варианта использования или конфиденциальности данных. Просматривайте инструменты высокого риска чаще, чем общедоступные утилиты.
Компактный контрольный список закупок
Перед началом производства убедитесь, что команда может ответить на все следующие вопросы, используя имеющиеся доказательства:
- Какое именно использование и данные разрешены, а какие запрещены?
- Какой аккаунт, план, арендатор, юридическое лицо, регион и соглашения контролируют?
- Куда отправляются запросы, файлы, метаданные, выходные данные, журналы, отзывы и резервные копии?
- Какие вендоры и поставщики моделей их получают, для каких целей и на какой срок?
- Каковы настройки по умолчанию и дополнительные настройки обучения, удержания, проверки человеком и обратной связи?
- Могут ли администраторы обеспечить контроль идентификации, минимальных привилегий, общего доступа, соединителя, агента, расходов и аудита?
- Может ли команда экспортировать, отзывать, удалять и подтверждать жизненный цикл источников и производных данных?
- Как проверяются быстрое внедрение, небезопасный вывод, чрезмерное вмешательство, секреты и сторонний контент?
- Какие люди затронуты, какие уведомления и права применяются, и кому принадлежит окончательное решение?
- Какие доказательства, мониторинг, план действий на случай инцидента, повод для повторной оценки и срок действия разрешения фиксируются?
Если несколько ответов звучат так: «Вероятно, поставщик справится с этим», проверка не является полной.
Примените эту структуру ко всем категориям инструментов ИИ.
Для таких помощников, как ChatGPT, проверяйте потребительские и деловые термины, соединители, память, общие ссылки и моделируйте маршруты. Для инструментов написания и маркетинга, таких как Jasper, изучите знание бренда, контент клиентов, интеграцию публикаций и фактическое одобрение. Для изображений и видеопродуктов просмотрите загруженные ресурсы, права на изображение и голос, поставщиков генерации, общедоступные галереи, использование для обучения и коммерческие условия в руководствах Изображение и дизайн AI и Видео AI.
Для инструментов кодирования, таких как Курсор, доступ к репозиторию, команды терминала, фоновые агенты, удаленное выполнение, секреты и созданные зависимости рассматриваются как привилегированные. Для инструментов для собраний, таких как Otter AI, просмотрите уведомление участника, согласие, доступ к календарю, записывающие боты, обмен стенограммами, обучение, сохранение и удаление. Для платформ автоматизации, таких как n8n, сосредоточьтесь на учетных данных, одобрении человека, детерминированных границах, журналах выполнения, обязанностях самостоятельного размещения и лицензировании.
Для инструментов презентаций, таких как Gamma, просмотрите пакеты конфиденциальных исходных текстов, видимость ссылок, аналитику посетителей, экспорт и отключение учетной записи. Для инструментов исследования, таких как Elicit, отделите общедоступную литературу от неопубликованных исследований и проверьте условия поставщика, обучения, хранения и экспорта для конкретного плана. Просмотрите все категории инструментов искусственного интеллекта, чтобы применить одни и те же вопросы по вариантам использования и потокам данных к реальному рабочему процессу.
Наша политика конфиденциальности объясняет собственную практику обработки данных на этом сайте, а методика проверки и редакционная политика объясняют, как доказательства, тестирование, неопределенность, спонсорство и обновления должны быть представлены в обзорах.
Похожие руководства
Продолжайте использовать лучшие инструменты искусственного интеллекта для малого бизнеса и лучшие инструменты автоматизации искусственного интеллекта, чтобы связать это решение со смежными рабочими процессами и последовательным процессом оценки.
