Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.


Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! 
Telegram-чат: https://t.me/podlodka  
Telegram-канал: https://t.me/podlodkanews 
Страница в Facebook: www.facebook.com/podlodkacast/ 
Twitter-аккаунт: https://twitter.com/PodcastPodlodka 

Ведущие в выпуске:
Женя Кателла, Андрей Смирнов

Полезные ссылки:

Illustrated Transformer
https://jalammar.github.io/illustrated-transformer/

Attention is all you need
https://arxiv.org/abs/1706.03762 

Illustrated BERT
https://jalammar.github.io/illustrated-bert/ 

GPT-family models overview
https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/ 

A bit of overview of tokenization
https://huggingface.co/learn/llm-course/en/chapter6/1

Podlodka #444 – Архитектура LLM

Podlodka – это еженедельное аудио-шоу про IT и все, что с ним связано. Формат наших выпусков - это полное погружение в тему вместе с приглашенным гостем. В каждый выпуск мы зовём интересных и именитых профессионалов в разных областях.

Мы любим обсуждать архитектуру, делиться опытом промышленной разработки и спорить на горячие темы.

Подкаст Подлодка ведут четверо весёлых и опытных инженеров с примесями менеджеров:
- Егор Толстой — руководил командами разработки в Rambler&Co и Avito.
- Катя Петрова — руководила командой дизайн-системы в Авито.
- Евгений Кателла — руководил отделом Android в Rambler&Co и мобильным направлением в Яндекс Еде.
- Стас Цыганов — руководил мобильными командами в Туту.ру. Автор книги VIPER и роадмапа тимлида.
- Анна Симонова — джедай организации митапов, конференций, и развития сообществ. 
- Андрей Смирнов — руководил отделами разработки в X5 Tech, IPONWEB и Rambler&Co

Podlodka #444 – Архитектура LLM

Podlodka Podcast