Алексей Благирев - Big data простым языком

в эту тему, надо взять лопату и копать, копать,
копать: по кусочкам собирать смыслы, общаться с разными людьми.
Администраторы баз данных могут рассказать вам о том, как
настраивать кластеры, а ребята, которые копаются в аналитике, помогут
разобрать общую логику процесса.
Только вот почему-то каждый эксперт понимает один и тот же
термин по-своему. Будто люди строили Вавилонскую башню из
данных, чтобы достучаться до небес, а в конце концов все равно
заговорили на разных языках, как написано в Ветхом завете. И эти
эксперты вкладывают в, казалось бы, обычные слова, какое-то свое
понимание, близкое только им.
Конечно, всех бы мог спасти робот-переводчик, который знает
тридцать три наречия межпланетных иезуитов. Но, боюсь, пока его
функционал не вырос до такого уровня, придется прикидываться
оленеводами, которые впервые услышали о Больших данных. Надо
признать, что в некоторых историях мне пришлось разбираться прям с

самого что ни на есть нуля, так что расслабьтесь и получайте
удовольствие. Будет весело!
А начнем с того, что познакомимся с народом.
#1
Есть такие важные и бессмертные инженеры по машинному
обучению. Задача их проста – проектировать логику и обучать
алгоритмы, известные как нейронные сети, заводя в них все новые и
новые данные. Если спросить этих инженеров о чем-нибудь другом из
области данных, то в большинстве случаев они понятия не будут иметь,
о чем их спрашивают – например, кто такие дата-стюарды?
#2
Дата-стюарды и инженеры качества данных – это такие человечки,
которые все правят, чинят и спасают, как Мастер Феликс-младший из
игры Fix-It Felix Jr, по ней еще несколько лет назад сняли мультфильм
«Ральф». Миссия стюардов и инженеров велика и необъятна. В данных
всегда происходит переполох, и нужны те самые бравые ребята,
которые прибегут со словами «я починю!». Они измеряют искажения в
данных и исправляют те самые ошибки, которые допускают
пользователи, работая с информацией.
Если спросить у них, в чем роль инженеров по машинному
обучению и почему они вообще так называются, то, очень вероятно, что
ответа мы не получим. И это нормально.
Разные бригады экспертов занимаются разной работой.
#3
Архитекторы и аналитики данных – это олицетворение
Они опираются на различные правила и методологию,
структурировать данные внутри организации. Например,
обозначения таблички «N45» они напишут какое-нибудь

разума.
чтобы
вместо
гордое

«Контрагент» и определят, что в этой табличке должна содержаться
информация, касающаяся только контрагента, – например «ИМЯ» /
«НАЗВАНИЕ», «ПАСПОРТ» / номер регистрации компании и так
далее.
Суть архитекторов и аналитиков – стандартизировать
взаимоотношения пользователей с данными и сделать самое главное:
навести в этих данных порядок.
Результаты работы этих незаурядных личностей влияют через
данные на управление организациями. По-умному их называют datadriven организациями. Они бывают разных типов и устроены все поразному, но описать data-driven организации или отличить их друг от
друга сможет далеко не каждый из описанных специалистов. И это еще
один большой вызов.
Разные профессии работы с данными разговаривают на разных
языках и формируют собой организации нового типа, где люди не
имеют единого представления о том, как ими управлять. Вопрос «чем
отличается data-driven организация от data-informed организации?»
введет в дичайший ступор не только читателя, но и экспертов, которые
работают с данными каждый день.
Перспектива восприятия нового во многом касается наличия
практических навыков. Конечно, сегодня мало кто из экспертов имеет
руководящий опыт и был тем самым директором по данным, который
пытался изменить мир, запуская трансформационные процессы в своей
организации для того, чтобы повысить значение использования данных.
Это прерогатива людей, которые стоят у руля, а они обычно не
разбираются в технике, считая, что она не влияет на принимаемые с
точки зрения развития бизнеса решения.
А это все не так. Свойства информационной среды, которые
заложены в ней при ее проектировании, оказывают непосредственное
влияние на объем и качество принимаемых решений в этой среде.
Когда люди учатся писать на таком языке программирования как
Python, им не рассказывают, какие фреймворки проектирования
хранилища данных существуют, и что --">