Комплекс обработки информации для вуза. Как начать готовить специалистов Big Data?
Заказчик

В рамках данного проекта мы сотрудничаем с одним из ведущих технических вузов, в котором обучаются более 19 тысяч человек. Работа университета направлена на предоставление высококачественных и конкурентоспособных услуг в области образования и научно-исследовательской деятельности.

Срок реализации проекта: 2 месяца.

Проблема

У университета есть собственная информационная система, которая обеспечивает эффективный учебный процесс. В этой системе содержатся все данные о студентах, стипендиях, преподавателях, зарплатах и занятиях. Как и любое образовательное учреждение, наш Заказчик регулярно предоставляет в вышестоящую организацию множество статистических форм и отчётов. Обратился он к нам с просьбой автоматизировать данный процесс.

Кроме того, университет стремится занять лидирующие позиции среди учреждений образования, которые специализируются на подготовке профессионалов для работы с Big Data, и поднять свой рейтинг перед другими вузами.

У Заказчика было 3 основных цели для текущего проекта:

Для достижения целей специалисты Invento Labs поставили следующие задачи:

КХД должно было обеспечивать высокую доступность и производительность в работе с данными, конфиденциальность, целостность обрабатываемой и хранимой информации, горизонтальную масштабируемость, а также служить технологической основой Big Data.

Решение

На первом этапе работ наши специалисты разработали основной контур проекта — спроектировали структуру КХД университета для 3000 пользователей разного уровня. Они также разработали и внедрили отчёты для профильного министерства со сведениями о численности студентов, преподавателей, прочих работников, стипендиях, зарплатах, расходах организации и другой операционной информации.

На втором этапе наша команда занялась созданием учебного контура, который позволил бы университету приобрести знания и опыт в области Big Data. Мы помогли университету получить преимущество перед выпускниками других вузов, чтобы они не только знали и понимали, что такое большие данные, но и на практике могли работать с инструментами Big Data.

Изначально мы договорились с Заказчиком о технологической части учебного контура. Предполагалась только поставка и подключение нашего программного продукта QuAnt DM и инструментов по работе с Big Data.

В ходе работ над проектом, наши специалисты, которые плотно сотрудничали с преподавателями университета, поняли, что при внедрении методологической части учебного контура помимо курса лекций необходимо также разработать практические занятия. В результате мы обеспечили студентам полный набор как теоретических знаний, так и практических навыков по работе с Big Data.

Компания Invento Labs уже передала Заказчику продукт QuAnt DM, который успешно функционирует. Университет продолжит сотрудничество с нашей компанией, поскольку мы планируем расширение функционала в соответствии с бизнес-целями Клиента, увеличив количество модулей, а также разработав дополнительные отчёты для Заказчика.

Также мы разрабатываем документацию для передачи знаний и опыта Заказчику по использованию нашего продукта, это позволит университету самостоятельно управлять QuAnt DM.

Технологии
Greenplum
Ansible
Apache Airflow
Apache Atlas
Apache Kafka
Apache Superset
Report Server
Birt
Grafana
Liquibase
Результат

Выгоды для Заказчика