В этом выпуске мы обсуждаем сложности сбора и обработки данных. Работа с Big Data и получение из них ценности — это конвейер, на котором трудятся целые команды. Как идёт работа в начале и конце этого пути, нам расскажут два разных специалиста: data engineer и product owner. 

О том, как и какими инструментами добываются данные, мы узнаем от Дмитрия Захарова — дата-инженера и тимлида разработки витрины данных в Сбере.

А Игнат Постный, исполнительный директор TAG Consulting, поведает, какие задачи он решает с помощью инструментов AI и какие барьеры есть на проде.

Содержание:

1:10 Кто есть кто: чем занимаются data engineer и product owner в Big Data
4:30 Этапы обработки больших данных в крупной финансовой компании
10:30 Особенности работы с естественным языком и неструктурированными документами
17:00 Как обойти проблему «Garbage in — garbage out» и дорогостоящих ошибок
22:00 Отсутствие стандартов и другие боли дата-сатанистов
28:20 Как строится витрина данных
30:50 Корпоративный ресурс vs творческий подход
34:00 Как объём данных влияет на качество их обработки
35:40 Сможет ли нейросеть понять естественный язык
40:30 Как попасть на «конвейер» Big Data, важен ли математический бэкграунд
47:30 Минимальный объём скиллов для дата-инженера
52:10 Правильный T-shape для дата-сайентиста
54:55 Каких прорывов больше всего ожидают в Data Science
1:00:55 Нерешённые проблемы и тенденции индустрии

Запись прямого эфира можно посмотреть тут: https://www.youtube.com/watch?v=fjBcIvVVkF4

Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными

0:35 Tesla показала новые аккумуляторы — дешевле и мощнее — и обещает электрокар за $25 000, habr.com/p/520298/

13:51 Актер Том Круз и режиссер Даг Лайман полетят на МКС для съемок фильма в 2021 году, habr.com/p/520398/ 

22:29 Презентация Сбера: новый лого, SberPay, голосовой помощник, магазин приложений, habr.com/p/520500/

38:46 Отвечаем на вопросы слушателей: как мы начинаем учить что-то новое, сколько времени уходит на производство этого подкаста

Могли бы обсудить, но не обсудили:
- Вооот такоооой красотыыы, habr.com/p/519678/ 
- На данный момент 5G — плохая шутка, habr.com/p/519878/ 
- Сверхскоростная съемка: 15 триллионов кадров в секунду, habr.com/p/520122/ 

Упоминали в этом выпуске:
- Услуги Иронова за 10к ₽, habr.com/p/520044/
- Model S Plaid, habr.com/p/488000/
- Роскосмос разрешил участие частной компании в строительстве ракеты, ria.ru/20200922/kosmos-1577580539.html

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Далер Алиёров, t.me/dalerblog

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв, t.me/levpik

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Новые батареи Tesla, Том Круз летит в космос, Сбербанк теперь Сбер и косит под Apple

1:07 Собянин требует отправить треть сотрудников домой, habr.com/p/521616/ и предыстория — habr.com/p/520560/, 
14:18 Минпросвещения хочет TikTok, только свой и со школьниками, habr.com/p/521638/
22:18 Telegram внедрил комментарии для каналов, habr.com/p/521504/
25:16 Со следующего года все приложения Google Play будут платить комиссию 30%, включая Netflix и Spotify, habr.com/p521112/ 
31:20 Ответы на вопросы слушателей: наш распорядок дня, как стать дата-сайентистом с нуля и в чем мы разочаровались в последнее время

Могли бы обсудить, но не обсудили:
Как белорусский «Отдам даром» поднял первый раунд инвестиций в Долине, habr.com/p/521270/ 
Как я избавлялся от Google на Android, habr.com/p/520642/ 
Топ IT-книг прошлого века, которые актуальны до сих пор, habr.com/p/521172/ 

Упоминали в выпуске:
t.me/likedtiktoks — канал с разными тиктоками
habr.com/p/521626/ — сотрудники Google не хотят в офис

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Лев Пикалёв, t.me/levpik

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Обратно на удаленку, русский TikTok со школьниками, каменты в Telegram, 30% комиссия в Google Play

«Интересно, много ли таких, кто ещё не понимает, какая польза от Big Data?» — это первый же комментарий к нашему с МТС опросу про Big Data. Больше половины опрошенных, как показали результаты, просто не используют Big Data. В то же время, в МТС — это важная часть бизнеса, и компания активно ищет специалистов в этой области. Открытые вакансии можно посмотреть по ссылке.

→ https://u.tmtm.ru/mts_podcast_job ←

В чём причина противоречия? Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта? Как правильно произносить? Это мы обсудили в подкасте с руководителем центра компетенций Data Science в МТС Виктором Кантором.

0:33 — что такое big data вообще
2:54 — как размечают петабайты данных
4:34 — как по-русски правильно: большие данные или big data
5:56 — почему компании пользуются услугами МТС для интеграции big data в бизнес, а не делают это сами
8:54 — как понять, приносит ли пользу анализ больших данных
10:22 — сколько времени уходит на анализ данных
13:30 — есть ли конкуренция между собственным отделом big data в компании и внешними сервисами, скажем, МТС
15:03 — высока ли конкуренция на рынке big data
16:55 — как определить: крут ли дата сайентист
21:20 — как стать крутым специалистом в big data, будучи еще молодым
24:04 — есть ли будущее у big data или хранить и обрабатывать все это слишком сложно
27:03 — почему история про то, как интернет-магазин узнал, что девушка беременна, раньше, чем она сама — это просто байка
33:48 — как big data помогает науке и вузам
36:34 — в чем разница между джуном и сеньором в data science
39:02 — как big data применяют в реальной жизни
42:10 — каков порог входа в big data

***
Гость
Виктор Кантор, fb.com/xead.wl

Ведущий 
Иван Звягин, anchor.fm/omfg-podcast

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t-do.ru/habrpodcast 
Чат подкаста — t-do.ru/habrweeklychat
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

Спешал // О Big Data «на пальцах» с Виктором Кантором

1:31 Бот в течение недели выдавал себя за человека на AskReddit, habr.com/p/522542/

6:39 Документалка Social Dilemma, habr.com/p/520650/

18:23 Sony полностью разобрала PlayStation 5 и показала, как приставка выглядит изнутри, habr.com/p/522488/

29:39 Cистема, которая побуждает птиц собирать мусор в обмен на корм, habr.com/p/522034/

35:21 Ответы на вопросы слушателей: как поймать интернет в деревне, много ли девушек в QA, котик ли Яндекс?

47:01 В рубрике «Сережа из Брянска» Machine Learning Podcast, который ведет Миша из Питера

Могли бы обсудить, но не обсудили:
- Восстановление утраченных текстов с помощью современных технологий. Железо 
habr.com/p/521870/ 
- Смешные собеседования: истории ИТ-рекрутеров (часть 1)
habr.com/p/522568/ 
- В коде электромобиля Tesla нашли признаки того, что c помощью селфи камеры система может оценивать состояние водителя
habr.com/p/522168/ 

Упоминали в выпуске:
- Machine Learning Podcast — на Анкоре anchor.fm/kmsrus и в Телеграме t.me/toBeAnMLspecialist
- алгоритм GPT-3 — habr.com/p/504588/
- гид по выстраиванию здоровых отношений со смартфоном — incrussia.ru/understand/digital-shabbat/
- канал Креосана — youtube.com/user/kreosan 
- жидкий металл для охлаждения ноутбуков — habr.com/p/519704/

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Лев Пикалёв, t.me/levpik

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Бот 3 недели выдавал себя за человека, технопорно-разбор PS5 от Sony, как хакнуть птиц

1:43 Apple представила:
- iPhone 12, habr.com/p/523336/ 
- HomePod mini, habr.com/p/523366/
- И убрала зарядки из комплектов, habr.com/p/523436/ 

25:31 Представьте — вам дали гору денег, но забрали программирование навсегда. Обрадуетесь? Что будете делать? habr.com/p/523444/ 

38:40 Россияне на МКС нашли место утечки воздуха с помощью пакетика чая, 
habr.com/p/523624/

46:14 Отвечаем на вопросы слушателей: как не посадить зрение, TikTok + Oracle — это хорошо или плохо?

***
Могли бы обсудить, но не обсудили:
Эффект Телепорно: почему нормальные фразы на иностранном кажутся смешными, habr.com/p/523214/ 
Новый плацкарт в вагоне габарита Т, habr.com/p/523024/ 
Ноль смертей: как выжить в ДТП, habr.com/p/521062/ 

***
Упоминали в этом выпуске:
- подкаст «Мы обречены», youtube.com/channel/UCUSbYJK87rpBUJ5KGQd7oHA
- пост-сравнение камер, habr.com/p/481368/
- бетонные штуки, instagram.com/cncrtstff
- теория от практиков, theoryandpractice.ru
- подкаст с Ольгой Чумакиной, soundcloud.com/huntflow-insight/ep-40-1
- фильм Social Dilemma, netflix.com/watch/81254224
- выпуск «Редакции» о ДТП, youtube.com/watch?v=PSQTXze_vSg

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Лев Пикалёв, t.me/levpik

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

iPhone 12,  деньги vs интерес,  на МКС нашли утечку с помощью пакетика чая

1:31 Apple покажет новые про-наушники в следующем году, habr.com/p/525226/

13:31 Цвет в современных фильмах, habr.com/p/525252/

24:43 Бета-тест Starlink стоит $99 в месяц, habr.com/p/525270/ 

32:51 Астероид 16 Psyche состоит из металлов на 10¹⁹ долларов, habr.com/p/525504/ 

39:18 Ответы на вопросы слушателей: страшно ли уходить с первой работы, какие проблемы бывают с макбуками

Могли бы обсудить, но не обсудили:
- Как кодить, если лишился рук? habr.com/p/524664/ 
- Как 30 строк кода разорвали 27-тонный генератор, habr.com/p/525400/
- Медицинский чат-бот склонял пациентов к суициду, habr.com/p/525634/

- - - Рубрику «Сережа из Брянска» захватили ведущие - - - 
- Далер ищет работу — вот его сайт, aliyorov.com
- WYSIWYG на Хабре — писать статьи стало удобно, попробуйте! 
- канал про вкусноту, t.me/brokitchen, 
- ОЧБ Подкаст, anchor.fm/omfg-podcast
- «Бетонные штуки», instagram.com/cncrtstff
- канал Льва, t.me/levpik 
- подкаст «Про людей», apple.co/35OqfBj
- канал «Ад и Ель», t.me/exarg
- канал «Медиа-шмедиа и рассыпуха», t.me/shmedia_and_stuff
- подкаст GeekBrains, apple.co/35NfwXR

Упоминали в выпуске:
- мувибаркоды, moviebarcode.tumblr.com
- космическое государство Асгардия, habr.com/p398241/

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Коля Землянский, fb.com/nick.zemlyanskiy
Далер Алиёров, t.me/dalerblog
Лев Пикалёв, t.me/levpik

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Новые «уши» Apple, цветовые схемы в кино, Starlink за $100 и астероид за $10¹⁹, рассыпуха в подкасте

1:24 Маск: «Марс — свободная планета, там не действуют законы Земли», habr.com/p/525962/ 

13:53 Rocket Lab запустит в космос гнома из Half-Life, habr.com/p/526240/ 

18:33 Мышление письмом, habr.com/p/526336/ 

31:15 Вопросы слушателей: есть ли в Хабре детский сад и празднуют ли у нас Хеллоуин

***
Могли бы обсудить, но не обсудили: 
- «Чистой» энергии не существует, habr.com/p/526368/
- «ВКонтакте» продала AliExpress слова «скидка» и «халява» для рекламы, habr.com/p/526524/ 
- Яндекс и Mail.ru работают над аналогами Zoom для школьников, habr.com/p/526314/

***
Упоминали в выпуске:
-  сабреддит Explain Me Like I’m 5, reddit.com/r/explainlikeimfive/
- реддит с phd одной строкой, reddit.com/r/AskReddit/comments/3hw3vu/phds_of_reddit_what_is_a_dumbed_down_summary_of/
- статья про школу Илона Маска, meduza.io/feature/2020/11/04/ilon-mask-pytaetsya-zanovo-izobresti-shkolnoe-obrazovanie-my-pogovorili-s-dzhoshua-danom-direktorom-shkoly-ad-astra-school-organizovannoy-pryamo-v-spacex
- космиическая миссия с гномом, rocketlabusa.com/missions/next-mission/

***
Участники
Анна Линская, t.me/shel_sneg
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв, t.me/levpik

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Викли // Марс вне земных законов, гнома из Half-Life отправят в космос, о пользе документации

1:14 Яндекс опубликовал внутренние принципы, habr.com/p/528908/

19:58 Вы безумны, остановитесь пока не поздно, habr.com/p/528678/

39:13 Playstation 5 официально в продаже в России, но ее не купить

53:05 Отвечаем на вопросы слушателей: как копить деньги

Могли бы обсудить, но не обсудили:
- Электронная книга своими руками на STM32H750 от А до Э, habr.com/p/528148/ 
- Механико-цифровые часы из стальных шариков, habr.com/p/527818/ 
- Как я делал свой самолёт, habr.com/p/528008/ 

Упоминали в этом выпуске: 
- принципы Tesla, elonmusk.su/pismo-ilona-maska-sotrudnikam-i-partneram-tesla/
- «метод Netflix», medium.com/@Gafarov/netflix-method-5a428d80e604

***
Участники
Ваня Звягин, anchor.fm/omfg-podcast
Адель Мубаракшин, t.me/exarg
Коля Землянский, t.me/shmedia_and_stuff

Звукорежиссер
Камиль Шаймарданов, vk.com/id88312749

Продюсер
Лев Пикалёв, t.me/levpik

***
Подкаст сделан с помощью Подкастерской
castpodcast.ru/?utm_source=habr-weekly

***
Телеграм-канал — t.me/habrpodcast 
Чат подкаста — t.me/habrweeklychat 
Бот подкаста для ваших голосовых сообщений — t.me/habrpodcast_bot
Сайт подкаста — habr-podcast.com
Почта — hello@habr-podcast.com

***
Если вам есть что сказать на темы, которые мы обсуждали в выпуске, присылайте нам голосовые сообщения через телеграм-бота t.me/habrpodcast_bot. Мы выберем несколько мнений и добавим их в следующем выпуске.

Викли // Внутренние принципы Яндекса, бесполезные онлайн-курсы, ради PS5 грабят фургоны доставки

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение.

1:40 Кто идёт работать в агентство, а кто в корпорацию И почему (спойлер: дело не в деньгах)

4:24 Почему удалёнка предпочтительнее офиса, даже заграничного

9:25 Аутсорс или аутстаф? Плюсы и минусы каждого из вариантов

17:25 Разнообразие проектов: где больше выбор, в агентстве или корпорации

21:35 Снова об особенностях работы на удалёнке: плюсы, минусы, инсайты

33:55 Текущее состояние рынка мобильной разработки Как привлечь и удержать классного специалиста

41:30 Забюрократизированность в больших компаниях: как оградить от неё своих сотрудников

45:30 Как менеджить проекты, в которых внутренняя команда взаимодействует с командой подрядчика

55:00 Как проверять результаты работы агентства, чтобы не получить франкенштейновского монстра

57:35 Стоит ли принимать на работу соискателя, который засыпает во время собеседования

1:02:50 Какой продукт надёжнее с точки зрения информационной безопасности, «внутренний» или заказанный в агентстве

1:10:20 С чего начать, если хочешь стать html-программистом. И где искать работу?

Видкасты здесь: https://u.tmtm.ru/habrpro

ПРО // Mobile-разработка: своя команда vs аутсорс

Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разных точек зрения и составить профессиональное мнение.

1:45 Современные кибератаки: виды, этапы, примеры
10:35 Как не стать жертвой: меры предосторожности для частных лиц
15:50 Автоматическое обновление прошивки роутера – хорошо или плохо
16:40 Почему атаки на индустриальные предприятия опаснее, чем на финансовые
24:00 Мыслить, как киберпреступник: как специалисты по ИБ ищут уязвимости в корпоративных сетях – интересные кейсы
29:50 Особенности защиты российских ВПК и отечественные наработки в сфере ИБ
35:00 Почему фишинг по-прежнему эффективен
39:30 Дилемма между сложным паролем, который можно забыть, и простым, который с большей вероятностью взломают. Как и где хранить пароли?
46:10 Как защитить аккаунты, авторизация которых завязана на ваш мобильный телефон
47:50 О рынке специалистов по ИБ, их квалификации и заработках
55:50 Нужны ли Security Operations Center? А антивирусы? Почему растёт популярность EDR-решений (Endpoint Detection and Response)
1:00:50 Что делать компаниям, у которых нет выделенного ИБ-специалиста
1:09:15 Правда ли, что удобнее использовать продукты одного вендора, чем нескольких
1:14:30 Звонки мошенников – что делать
1:17:05 Как ИИ используется в ИБ

ПРО // Мир ИБ: паранойя vs здравый смысл

Больше  IT богу IT! Приглашаем экспертов от хабрасообщества и хабракомпаний — и погружаемся в разные направления IT. Рассказываем про инструменты разработчиков, обсуждаем процессы внутри IT-команд и узнаём о новых направлениях разработки от тех, кто с ними уже столкнулся. Больше о нас:  https://company.habr.com/

Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными

Хабр Подкасты