В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.

В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.


Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! 
Telegram-чат: https://t.me/podlodka  
Telegram-канал: https://t.me/podlodkanews 
Страница в Facebook: www.facebook.com/podlodkacast/ 
Twitter-аккаунт: https://twitter.com/PodcastPodlodka  

Ведущие в выпуске:
Стас Цыганов, Аня Симонова

Полезные ссылки:

Archestra.AI
https://archestra.ai

Блог Simon Willison
https://simonwillison.net/2025/Sep/18/agents/ 

Статья “Why AI systems may never be secure, and what to do about it”
https://www.economist.com/science-and-technology/2025/09/22/why-ai-systems-may-never-be-secure-and-what-to-do-about-it 

Статья “Anthropic: How we built our multi-agent research system”
https://simonwillison.net/2025/Jun/14/multi-agent-research-system/ 

Статья “An Introduction to Google’s Approach to AI Agent Security”
https://simonwillison.net/2025/Jun/15/ai-agent-security/ 

Google's Approach for Secure AI Agents
https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents/ 

Статья “Design Patterns for Securing LLM Agents against Prompt Injections”
https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/

Код для статьи "Defeating Prompt Injections by Design"
https://github.com/google-research/camel-prompt-injection 

Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“
https://simonwillison.net/2025/Apr/11/camel/ 


Podlodka #446 – AI-агенты и безопасность

Podlodka – это еженедельное аудио-шоу про IT и все, что с ним связано. Формат наших выпусков - это полное погружение в тему вместе с приглашенным гостем. В каждый выпуск мы зовём интересных и именитых профессионалов в разных областях.

Мы любим обсуждать архитектуру, делиться опытом промышленной разработки и спорить на горячие темы.

Подкаст Подлодка ведут четверо весёлых и опытных инженеров с примесями менеджеров:
- Егор Толстой — руководил командами разработки в Rambler&Co и Avito.
- Катя Петрова — руководила командой дизайн-системы в Авито.
- Евгений Кателла — руководил отделом Android в Rambler&Co и мобильным направлением в Яндекс Еде.
- Стас Цыганов — руководил мобильными командами в Туту.ру. Автор книги VIPER и роадмапа тимлида.
- Анна Симонова — джедай организации митапов, конференций, и развития сообществ. 
- Андрей Смирнов — руководил отделами разработки в X5 Tech, IPONWEB и Rambler&Co

Podlodka #446 – AI-агенты и безопасность

Podlodka Podcast