От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»

От защиты ИИ до статического анализа: в Омске стартовал «ДевФест»

Дата публикации Сегодня 08:47 Автор Источник фото Майя Морочева и Алина Кудашкина

21 мая в омском кинотеатре «Атриум-кино» начала работу межрегиональная конференция программистов «ДевФест».

Большая конференция для разработчиков впервые за всю историю своего существования прошла не в привычном конференц-зале, а сразу на нескольких локациях кинотеатра «Атриум-кино». Событие объединило программистов из разных регионов России, а также гостей из Гонконга и Сербии.

Цель форума — дать практикующим инженерам новые знания, инструменты для решения нестандартных задач и возможность живого общения с коллегами. Регистрация участников началась в 10 утра, после чего стартовали образовательные секции.

Организаторы подготовили четыре тематических трека: «Искусственный интеллект», «Информационная безопасность», «Облачные технологии» и «Критическая информационная инфраструктура». В рамках каждого трека прошло по четыре лекции от приглашённых экспертов. Кроме того, для гостей организовали 12 дополнительных форматов: командные игры, мастер-классы, вечеринки для нетворкинга и многое другое.

За подготовку фестиваля отвечает команда из 11 человек, главный организатор – программист Алексей Коровянский. Раньше он имел статус Google Developer Expert – это звание присваивают самым активным и знающим разработчикам, которые помогают другим разбираться в технологиях Google.

– Конференция проходит с 2012 года, но раньше мы собирались в меньшем формате. Наша конференция создавалась для программных инженеров. Здесь всё для разработчиков: как решать нестандартные задачи на проектах, как оптимизировать свою работу, как использовать ИИ-агентов. Мы специально сделали разную ценовую политику на билеты, чтобы могли прийти и начинающие, и опытные специалисты. Всем будет интересно, – рассказала исполнительный директор «ДевФеста» Елена Буйло.

Всего на фестиваль приехали 43 спикера. Примерно 80% из них представляют крупные компании Москвы и Санкт-Петербурга – это признанные эксперты в своих областях. География участников также охватила Новосибирск, Томск, Екатеринбург, Челябинск. Один из докладчиков подключался онлайн из Лондона. Форум продлится до 23 мая, и его программа выстроена так, чтобы каждый — от студента до ведущего инженера — нашёл для себя полезное.

ИИ под ударом

Из четырёх направлений наибольший интерес у публики вызвал трек об искусственном интеллекте. Вступительную лекцию «Безопасность ИИ: регулирование, методологии, техники, инструменты… и вера в лучшее» прочитал Алексей Синадский из компании УЦСБ.

Лектор объяснил: современные системы ИИ уже управляют чат-ботами в банках, помогают врачам и могут отдавать команды от имени человека. Чем больше власти у ИИ, тем выше риск — злоумышленники способны обмануть программу, заставить её нарушить правила, выдать чужие данные или нанести вред. Речь шла о том, как происходят такие атаки, какие законы и правила защиты существуют в разных странах и что делать для безопасности прямо сейчас.

Около пяти лет назад в индустрии появились большие языковые модели (LLM) — программы, обученные на миллиардах текстов. Их стали встраивать в чат-боты, а затем в «агентов»: программы, которые могут совершать действия — отправить письмо, перевести деньги, заказать такси. Как только ИИ получил доступ к реальным задачам, возникли новые угрозы: модель можно обмануть, заставив выдать секретные данные или выполнить вредную команду.

Единого всемирного закона о безопасности ИИ пока нет, но правила понемногу появляются. В Евросоюзе действует принцип: чем опаснее программа для жизни людей, тем строже требования. Если ИИ всего лишь рекомендует фильмы — проверка одна, а если ставит диагнозы или управляет заводом — совсем другая. В Китае считают, что у любой ИИ-системы должна быть «красная кнопка» — возможность мгновенно отключить её, не сломав всё остальное. В России действуют указы президента и приказы ФСТЭК (службы по технической защите информации): они требуют защищать данные, сами модели и инфраструктуру. Для особо важных объектов — заводов, электростанций, транспортных узлов — готовят отдельный ГОСТ.

Алексей Синадский перечислил несколько способов атак. Самый простой — подмена символов (русскую «а» меняют на английскую, цифру 0 — на букву O). Простые фильтры такую замену не замечают, а модель понимает вредный запрос. Более хитрый метод — добавление случайного набора букв к вопросу, пока модель не начнёт выдавать запрещённый ответ. Но самые опасные атаки — «человеческие»: программу уговаривают, вводят в ролевую ситуацию, ссылаются на авторитет создателя. Сегодня такие приёмы автоматизируют: одна нейросеть пытается обмануть другую, а третья проверяет результат. Так злоумышленники быстро находят дыры в защите искусственного интеллекта.

Лектор предложил выстраивать защиту на трёх уровнях. Первый — инфраструктура: нужно ограничить права ИИ, чтобы он не мог менять свои настройки или выполнять команды без спроса. Второй — сама модель: её можно дополнительно обучить безопасно отвечать на провокации. Третий (самый доступный для обычных компаний) — фильтры на входе и выходе: программа-шлюз проверяет каждый вопрос и ответ, перефразирует подозрительные сообщения, добавляет строгую инструкцию.

– Токены — это то, что поступает на вход модели. Если мы заменим токен, модель ответит иначе. Простые фильтры на регулярных выражениях такую замену не замечают, и атака проходит. Самый надёжный способ защиты на данный момент — поставить барьер на входе и строго ограничить права, чтобы ИИ-агенты не могли делать лишнего, – пояснил Алексей Синадский.

Главный совет: лучше иметь несколько простых слоёв защиты, работающих на 90%, чем один идеальный, но обходной. Начать можно с малого: за полчаса ограничить права ИИ и прописать в инструкции, что он должен игнорировать провокации.

Уборка в коде

В секции информационной безопасности выделился доклад Петра Шубина из Т‑Банка. Он был посвящён статическому анализу — проверке кода без его запуска, позволяющей понять, как связаны между собой отдельные части большой программы. В мобильном банке, например, тысячи модулей, над каждым работает своя команда. Со временем возникает путаница: кто кого вызывает, можно ли удалить старый код, который уже не нужен? Разобраться вручную почти невозможно.

Пётр начинал путь в программировании в Омском государственном университете путей сообщения. Сегодня он android-разработчик. Инструмент для статического анализа, о котором он рассказал, создала команда Т‑Банка – готовые программы не подходили под масштаб задач.

– Разработчики пишут код непрерывно. Я рассказал об инструменте, который автоматизирует анализ того, что разработчик обычно делает в голове. Вместо того, чтобы собирать информацию вручную, вы запускаете программу и она выдаёт сводку. Это быстрее. Вы можете настроить анализатор так, чтобы он собирал только те данные, которые нужны именно вам. Но этот подход подходит в первую очередь крупным компаниям с большими объёмами кода, — объяснил Пётр Шубин.

Его решение — надстройка над компилятором (программой, переводящей код в команды для процессора). Инструмент собирает «отпечатки» всех кусочков кода внутри каждого модуля, а потом сравнивает их с тем, что есть в других модулях. Если нигде в проекте не встречается обращение к какому-то кусочку, значит, это «мёртвый груз» и его можно безболезненно удалить. Итоговый отчёт показывает, какие модули связаны между собой, а какие никто не использует.

Спикер перечислил и минусы: собственное решение дороже и сложнее готового, статический анализ сильно загружает компьютер (при тысячах модулей нужно много оперативной памяти), а для маленьких проектов проще проверить код вручную или с помощью нейросети. Однако главный вывод: имея прямой доступ к внутреннему устройству кода через компилятор, можно автоматизировать практически любую проверку, которая раньше делалась вручную.

Параллельно на других секциях обсуждали практическую безопасность приложений, надёжность облачных систем и защиту критической инфраструктуры. Участники не только слушали лекции, но и участвовали в мастер-классах, а вечером общались в неформальной обстановке.

Фестиваль «ДевФест» завершится в субботу 23 мая. Организаторы уже смотрят в будущее: они хотят расширяться до федерального уровня и привлекать коллег из ближнего зарубежья.

– Задача — достичь масштабов, потому что люди не всегда верят, что можно сделать что-то классное в Омске. А на самом деле движ происходит очень интересный, – подытожила Елена Буйло.

Распечатать страницу