Заказать звонок
CNews: Какие новые технологии появились на рынке больших данных
20.11.2020 | Публикации
Большие данные — уже не просто модная тема для дискуссий, а множество реальных проектов, приносящих бизнесу немалую пользу. Проекты в области больших данных стоят недешево. Поэтому очень важно не ошибиться при выборе технологии и просчитать все возможные риски. Об этом говорили участники секции «Большие данные» CNews Forum 2020.
Технологические возможности
Владимир Егоров, генеральный директор ТУРБО, напомнил участникам конференции, что третья технологическая платформа, в основе которой лежат мобильные устройства и огромные массивы информации, постепенно завоевывает мир. Он рассказал о созданном компанией решении TURBO BI. Его основой является хранилище, которое позволяет формировать многомерные кубы на основе произвольно загружаемых данных, содержит встроенные функции по работе с математическими моделями, дает возможность создавать аналитические отчеты, панели и дэшборды и обеспечивает получение данных непосредственно из внешнего источника.
Данные в хранилище сгруппированы по направлениям — персонал, продажи, биллинг, главная книга, основные средства и др. Можно работать с группами данных и анализировать вложенную информацию до конкретной проводки. В ближайшее время будет проведена интеграция с языком R, что существенно расширит возможности использования математического аппарата для анализа данных, моделирования и прогнозирования.
По словам эксперта, особое внимание при создании решения было уделено визуализации — разработчики ориентировались на предпочтения поколения Z. Кроме того, в TURBO BI уже имеются перенастроенные базовые справочники, а настройка новых не требует программирования. Благодаря реализации концепции Low code пользователь может сам добавлять и выбирать объекты, указывать зависимости и тип представления.
Данные в хранилище сгруппированы по направлениям — персонал, продажи, биллинг, главная книга, основные средства и др. Можно работать с группами данных и анализировать вложенную информацию до конкретной проводки. В ближайшее время будет проведена интеграция с языком R, что существенно расширит возможности использования математического аппарата для анализа данных, моделирования и прогнозирования.
По словам эксперта, особое внимание при создании решения было уделено визуализации — разработчики ориентировались на предпочтения поколения Z. Кроме того, в TURBO BI уже имеются перенастроенные базовые справочники, а настройка новых не требует программирования. Благодаря реализации концепции Low code пользователь может сам добавлять и выбирать объекты, указывать зависимости и тип представления.
Большинство крупных компаний до сих пор не используют большую часть собираемых данных для принятия решений, уверен Евгений Сандомирский, директор по развитию бизнеса Epam. В тоже время, мир медленно, но верно движется в сторону создания организаций, управляемых на основе данных (data-driven organization). В основе такой организации лежит разработка стратегии в области данных (data strategy) и формирование культуры их использования (data – driven culture). «Стратегия в области данных дает новые возможности, но и создает новые вопросы. Только постепенное изменение культуры даст на них ответы, — говорит Евгений Сандомирский. — Начинать нужно, не дожидаясь их».
Он рассказал о разработанной Epam интегрированной платформе для повышения производительности сотрудников Epam Digital Workplace, которая дает единый цифровой доступ ко всем необходимым инструментам, процессам, данным. Комбинируя функциональность в зависимости от роли, платформа помогает принимать решения, обмениваться информацией, выполнять нужные действия, предоставлять рекомендации и легко перемещаться между инструментами и системами. Система располагается поверх существующих учетных систем, инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из модулей глобальную платформу успеха.
По словам Алексея Сидорова, директора по управлению данными, главного евангелиста Denodo Technologies, сегодня одной из важнейших тенденций в области управления данными стала виртуализация. Благодаря ей можно в режиме реального времени получать доступ к источникам самой разной информации.
При этом совершенно не важно, где, в какой форме и каких форматах хранятся данные. Более того, они не устаревают, потому что попадают в виртуальную дата-фабрику непосредственно из источника. Там они проходят необходимую очистку и подготовку. Большое внимание уделяется обеспечению безопасности. Таким образом, у бизнеса появилась реальная возможность не только быстро получать необходимые данные, но и существенно сократить расходы на их обработку.
Алексей Струченко, начальник отдела баз данных «Инфосистемы Джет», представил технологию, позволяющую работать с базами данных быстрее и эффективнее, — это израильская компания SQream. Она создала решение, которое обрабатывает данные не на процессоре, а на видеокарте с использованием всей ее невероятной «параллельности». Речь идет не о замене базы данных, а об их разгрузке за счет того, что SQream DB возьмет на себя часть запросов, может быть самых ресурсоемких. SQream DB работает на разных платформах, но одно их самых интересных ее проявлений — на архитектуре IBM Power.
Подробнее о решении рассказал Александр Рабкин, региональный директор SQream в России. SQream DB использует мощности тысяч параллельных вычислительных ядер в графических процессорах Nvidia. С его помощью можно импортировать, хранить и анализировать от десятков до сотен терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря сокращению затрат на инфраструктуру и специалистов.
Александр Рабкин поделился результатами тестирования SQream DB на Power9. SQream DB использует для загрузки данных как CPU, так и GPU. Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000) сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе x86.
Кроме того, SQream DB на Power9 показывает результаты на 150–370% быстрее, чем на сопоставимых серверах x86, особенно для больших наборов данных. Это связано с более высокой пропускной способностью NVLink между CPU и GPU и высокой пропускной способностью архитектуры процессора Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25% времени на IBM Power9 по сравнению с сервером x86.
Станислав Павлов, директор в области серверных решений Huawei Russia R&D, рассказал о новом продукте компании — процессоре Kunpeng. На сегодняшний день это самый высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов, вычислительных центров, работающих с большими данными, распределенных хранилищ. В России уже сформирована экосистема, в состав которой входят крупнейшие российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.
Преимущества использования автоматизированных интеллектуальных средств анализа больших данных перед традиционным подходом, подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы, говорит Илья Кузьминов, директор центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать их для решения конкретных задач. В качестве примера эксперт привел опыт использования системы для выявления трендов цифровизации.
Он рассказал о разработанной Epam интегрированной платформе для повышения производительности сотрудников Epam Digital Workplace, которая дает единый цифровой доступ ко всем необходимым инструментам, процессам, данным. Комбинируя функциональность в зависимости от роли, платформа помогает принимать решения, обмениваться информацией, выполнять нужные действия, предоставлять рекомендации и легко перемещаться между инструментами и системами. Система располагается поверх существующих учетных систем, инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из модулей глобальную платформу успеха.
По словам Алексея Сидорова, директора по управлению данными, главного евангелиста Denodo Technologies, сегодня одной из важнейших тенденций в области управления данными стала виртуализация. Благодаря ей можно в режиме реального времени получать доступ к источникам самой разной информации.
При этом совершенно не важно, где, в какой форме и каких форматах хранятся данные. Более того, они не устаревают, потому что попадают в виртуальную дата-фабрику непосредственно из источника. Там они проходят необходимую очистку и подготовку. Большое внимание уделяется обеспечению безопасности. Таким образом, у бизнеса появилась реальная возможность не только быстро получать необходимые данные, но и существенно сократить расходы на их обработку.
Алексей Струченко, начальник отдела баз данных «Инфосистемы Джет», представил технологию, позволяющую работать с базами данных быстрее и эффективнее, — это израильская компания SQream. Она создала решение, которое обрабатывает данные не на процессоре, а на видеокарте с использованием всей ее невероятной «параллельности». Речь идет не о замене базы данных, а об их разгрузке за счет того, что SQream DB возьмет на себя часть запросов, может быть самых ресурсоемких. SQream DB работает на разных платформах, но одно их самых интересных ее проявлений — на архитектуре IBM Power.
Подробнее о решении рассказал Александр Рабкин, региональный директор SQream в России. SQream DB использует мощности тысяч параллельных вычислительных ядер в графических процессорах Nvidia. С его помощью можно импортировать, хранить и анализировать от десятков до сотен терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря сокращению затрат на инфраструктуру и специалистов.
Александр Рабкин поделился результатами тестирования SQream DB на Power9. SQream DB использует для загрузки данных как CPU, так и GPU. Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000) сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе x86.
Кроме того, SQream DB на Power9 показывает результаты на 150–370% быстрее, чем на сопоставимых серверах x86, особенно для больших наборов данных. Это связано с более высокой пропускной способностью NVLink между CPU и GPU и высокой пропускной способностью архитектуры процессора Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25% времени на IBM Power9 по сравнению с сервером x86.
Станислав Павлов, директор в области серверных решений Huawei Russia R&D, рассказал о новом продукте компании — процессоре Kunpeng. На сегодняшний день это самый высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов, вычислительных центров, работающих с большими данными, распределенных хранилищ. В России уже сформирована экосистема, в состав которой входят крупнейшие российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.
Преимущества использования автоматизированных интеллектуальных средств анализа больших данных перед традиционным подходом, подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы, говорит Илья Кузьминов, директор центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать их для решения конкретных задач. В качестве примера эксперт привел опыт использования системы для выявления трендов цифровизации.
Большие данные для банков
О том, как большие данные помогают предотвратить отток клиентов, рассказал Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных, руководитель центра компетенций BI банка «УралСиб». По его мнению, некоторый естественный отток неизбежен, и эта цифра отличается от отрасли к отрасли. Но высокий показатель оттока — верный признак того, что бизнес делает что-то не так. «Удержание существующего клиента дешевле привлечения нового», — напомнил эксперт.
Для того, чтобы предотвратить отток клиентов, надо постоянно собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня технологии позволяют делать это быстро и эффективно. Так, специалисты по искусственному интеллекту могут создать инструменты, необходимые для анализа поведения клиентов и выработки стратегии индивидуальной работы с ними. Программа максимум — получить от искусственного интеллекта конкретные рекомендации.
Конечно, математическая модель, а именно она лежит в основе работы искусственного интеллекта, не может гарантировать, что рекомендуемые меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.
Юрий Попов, директор департамента развития цифровых технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и их превращения в полезную для бизнеса информацию практически безграничен. Он рассказал, как организована работа с большими данными в банке от момента появления бизнес-идеи до запуска пилотного проекта и последующего развертывания решения на все бизнес подразделения.
Сергей Серов, начальник управления Big Data и машинного обучения банка «Хоум Кредит» привел пример конкретного проекта, который был реализован в банке для повышения качества коммуникации с клиентами. В результате проекта была внедрена система анализа клиентских запросов как в чате, так и при голосовом обращении в режиме реального времени. На основе этой информации и клиентского профиля была доработана система динамических подсказок оператору, оптимизирован подбор продуктов банка и т.д.
Для того, чтобы предотвратить отток клиентов, надо постоянно собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня технологии позволяют делать это быстро и эффективно. Так, специалисты по искусственному интеллекту могут создать инструменты, необходимые для анализа поведения клиентов и выработки стратегии индивидуальной работы с ними. Программа максимум — получить от искусственного интеллекта конкретные рекомендации.
Конечно, математическая модель, а именно она лежит в основе работы искусственного интеллекта, не может гарантировать, что рекомендуемые меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.
Юрий Попов, директор департамента развития цифровых технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и их превращения в полезную для бизнеса информацию практически безграничен. Он рассказал, как организована работа с большими данными в банке от момента появления бизнес-идеи до запуска пилотного проекта и последующего развертывания решения на все бизнес подразделения.
Сергей Серов, начальник управления Big Data и машинного обучения банка «Хоум Кредит» привел пример конкретного проекта, который был реализован в банке для повышения качества коммуникации с клиентами. В результате проекта была внедрена система анализа клиентских запросов как в чате, так и при голосовом обращении в режиме реального времени. На основе этой информации и клиентского профиля была доработана система динамических подсказок оператору, оптимизирован подбор продуктов банка и т.д.
Большие данные в логистике
Технологии больших данных помогают логистическим компаниям строить оптимальные маршруты, давать рекомендации по экономичному расходу топлива, следить за состоянием транспортных средств в режиме онлайн, контролировать действия водителя и минимизировать риск ошибок, отметил Фарид Мадани, генеральный директор ГК «Деловые Линии». Также технология широко применяется для решения управленческих задач различных подразделений.
Он рассказал о реализованной в компании схеме сбора, хранения и обработки больших данных. Особое внимание Фарид Мадани уделил Self-Service BI — комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или провести анализ, не привлекая разработчиков. Внедрение этого решения сократило время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило издержки на работе персонала и расходе топлива.
Эксперт уверен, что в ближайшее время спрос на технологии больших данных со стороны логистических компаний будет расти. Они будут использоваться для повышения эффективности цепочек поставок и оптимизации логистических процессов, при внедрении всесторонней телеметрии: превентивной диагностики, онлайн-мониторинга, а также в ходе использования беспилотных транспортных средств.
Он рассказал о реализованной в компании схеме сбора, хранения и обработки больших данных. Особое внимание Фарид Мадани уделил Self-Service BI — комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или провести анализ, не привлекая разработчиков. Внедрение этого решения сократило время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило издержки на работе персонала и расходе топлива.
Эксперт уверен, что в ближайшее время спрос на технологии больших данных со стороны логистических компаний будет расти. Они будут использоваться для повышения эффективности цепочек поставок и оптимизации логистических процессов, при внедрении всесторонней телеметрии: превентивной диагностики, онлайн-мониторинга, а также в ходе использования беспилотных транспортных средств.
Большие данные на производстве
«Мы повышаем эффективность компании за счет использования технологий искусственного интеллекта, выстраивая нефтяную компанию, управляемую на основе данных, математических моделей и цифровых двойников», — говорит Анджей Аршавский, руководитель центра разработки и монетизации данных дирекции по цифровой трансформации «Газпромнефть». Производственные системы столь сложны, что человек не в состоянии всегда принимать оптимальные решения. И сервисы визуализации информации, поиска и поддержки принятия решений позволят планировать и управлять производством эффективнее.
Он привел примеры сервисов на базе искусственного интеллекта, которые уже реализованы в компании. Это интеллектуальная расшифровка магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В перспективе планируется создать единую корпоративную цифровую платформу, которая позволит на 20% сократить сроки начала использования новых технологий, на 50% увеличить скорость доставки нового функционала от проектных команд до бизнес пользователей и более чем на 30% повысить эффективность работы продуктовых команд.
Он привел примеры сервисов на базе искусственного интеллекта, которые уже реализованы в компании. Это интеллектуальная расшифровка магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В перспективе планируется создать единую корпоративную цифровую платформу, которая позволит на 20% сократить сроки начала использования новых технологий, на 50% увеличить скорость доставки нового функционала от проектных команд до бизнес пользователей и более чем на 30% повысить эффективность работы продуктовых команд.
Большие данные для здравоохранения
Об использовании больших данных в сфере здравоохранения рассказал Алексей Бахаев, начальник управления информатизации Научно-исследовательского института организации здравоохранения и медицинского менеджмента (НИИ ОЗ ММ). Они помогают повысить доступность высокоуровневой экспертизы для всех врачей, оптимизировать рутинные процессы, наладить раннюю диагностику заболеваний, оперативно принимать управленческие решения и контролировать процесс лечения и реабилитации. Алексей Бахалов рассказал о проектах, реализованных НИИ ОЗ ММ для столичного департамента здравоохранения.
Как прошел CNews FORUM 2020
В 2020 г. CNews FORUM — крупнейшая независимая площадка для встречи ИТ-директоров, руководителей ИТ-компаний и представителей органов власти — успешно прошел в тринадцатый раз. Впервые для форума организаторами был освоен новый формат — значительная часть мероприятия прошла в онлайн-режиме.
В ходе форума состоялось около 100 экспертных докладов. В сессионной части было проведено шесть тематических отраслевых секций: «Госсектор», «Банки», «Облачные технологии», «Аналитика больших данных», «Торговля», «Промышленность».
В пленарной части CNews FORUM выступили заместитель министра Минцифры Дмитрий Огуряев, директор по ИТ в РЖД Евгений Чаркин, директор департамента ИТ «Росатома» Евгений Абакумов, директор по ИТ, член правления Альфа-банка Сергей Поляков, заместитель председателя правления Московского кредитного банка Сергей Путятинский, региональный руководитель Veeam в России, СНГ, Грузии и на Украине Владимир Клявин, глава представительства Dynatrace в России, Белоруссии и Казахстане Игорь Хомков, CEO, член совета директоров компании Naumen Игорь Кириченко, директор департамента сопровождения торговых и вспомогательных систем блока ИТ Московской биржи Григорий Васильев, менеджер по информационным системам и бизнес-решениям по стране в Coca-Cola HBC Russia Стоян Валчев, директор по ИТ в ОМК Игорь Савцов, директор по ИТ в «Т плюс» Александр Антонов и многие другие.
В ходе форума состоялось около 100 экспертных докладов. В сессионной части было проведено шесть тематических отраслевых секций: «Госсектор», «Банки», «Облачные технологии», «Аналитика больших данных», «Торговля», «Промышленность».
В пленарной части CNews FORUM выступили заместитель министра Минцифры Дмитрий Огуряев, директор по ИТ в РЖД Евгений Чаркин, директор департамента ИТ «Росатома» Евгений Абакумов, директор по ИТ, член правления Альфа-банка Сергей Поляков, заместитель председателя правления Московского кредитного банка Сергей Путятинский, региональный руководитель Veeam в России, СНГ, Грузии и на Украине Владимир Клявин, глава представительства Dynatrace в России, Белоруссии и Казахстане Игорь Хомков, CEO, член совета директоров компании Naumen Игорь Кириченко, директор департамента сопровождения торговых и вспомогательных систем блока ИТ Московской биржи Григорий Васильев, менеджер по информационным системам и бизнес-решениям по стране в Coca-Cola HBC Russia Стоян Валчев, директор по ИТ в ОМК Игорь Савцов, директор по ИТ в «Т плюс» Александр Антонов и многие другие.