Использование СХД NetApp EF-Series All-Flash для ускорения процессов сервис-провайдера аналитики

Использование СХД NetApp EF-Series All-Flash для ускорения процессов сервис-провайдера аналитики

Компания RP Data — один из крупнейших и достаточно известных поставщиков данных в области недвижимости в Австралии и Новой Зеландии. Выполняя оценку объектов и предоставляя соответствующую аналитику, компания в том числе предлагает услуги по управлению рисками. Принадлежащая аналитической компании CoreLogic, RP Data ежедневно обрабатывает огромные объёмы информации. Данные о недвижимости, включающие в себя изображения, финансовые и иные сведения, являются основой бизнеса компании. Успех RP Data заключается в оперативном и своевременном предоставлении информации о недвижимости в условиях постоянно меняющихся данных, на основе которых строятся отчёты, необходимые клиентам.

RP Data в непрерывном режиме выполняет сбор и обработку огромного количества информации о недвижимости, используя при этом многочисленные источники. Постоянно меняющиеся данные, превращаясь в исходящую информацию и аналитику, помогают клиентам принимать правильные решения.

Рынок австралийской недвижимости за последние годы достаточно окреп, в результате чего RP Data ощутила значительное увеличение объёма потока данных, нуждающихся в обработке. И чтобы идти в ногу со временем, команде ИТ-специалистов потребовалось пересмотреть ИТ-инфраструктуру.

Поставлены новые цели

Помимо ежегодно поступающих данных объёмом более 100 Тб, RP Data хранит и текущую информацию, которая в среднем составляет около пяти изображений по каждому объекту недвижимости, расположенному на территории Австралии и Новой Зеландии. При этом наибольшую нагрузку испытывает база данных недвижимости, реализуемая средствами Microsoft SQL Server 2012. Такая БД содержит более 500 миллионов отзывов, охватывающих порядка 9 миллионов объектов недвижимости. И чем быстрее происходит передача/обработка данных, тем быстрее конечные пользователи получают актуальную информацию. По мере роста базы данных RP Data столкнулась с проблемой производительности хранилищ.

Саймон Перри

«Мы должны быть уверены в том, что с момента получения данных и доставки их клиентам проходит совсем немного времени, — отмечает Саймон Перри, генеральный менеджер по технологиям RP Data. — Наличие высокоскоростных и доступных хранилищ является достаточно критичным моментом для достижения поставленных целей».  

Чтобы решить проблемы, связанные с производительностью, и улучшить качество обслуживания, RP Data планирует внедрить технологии, которые позволят:

  • Сократить время передачи и обработки информации в БД.
  • Предоставлять клиентам отчёты максимально быстро и часто.
  • Обеспечить высокую доступность и надёжность на уровне хранилищ.
  • Установить партнерские отношения с доверенными поставщиками, которые помогли бы реализовать архитектурно-интегрированное решение.

Ускорение процесса составления отчётов

Ускорение процесса составления отчётов

Изначально RP Data рассматривала традиционный подход к хранилищам с использованием составных дисков для решения задач, связанных с операциями ввода-вывода. И несмотря на наличие двух дата-центров в Брисбене, работающих в режиме active-active, требовалось решение, способное справиться с задачами масштабирования. В итоге был сделан выбор в пользу NetApp.

«Желание NetApp понять нас и наш бизнес достаточно сильно отличалось от подхода других технологических компаний. Таким образом, мы доверились советам NetApp, — отмечает Адриан Янс, глава по информационным и коммуникационным технологиям в RP Data. — Вместо того, чтобы продать нам традиционные диск-ориентированные решения, способные удовлетворять наши потребности, NetApp, детально изучив бизнес-требования RP Data, предложила вариант на основе массивов СХД All-Flash, которые смогут обеспечить желаемую производительность и ощутить преимущества масштабируемости при операциях ввода-вывода в условиях чрезмерных нагрузок».

Было принято решение хранить данные, получаемые от финансовых организаций, на твердотельных накопителях SSD с применением флеш-массива NetApp EF-Series, подключаясь к серверам через Fibre Channel.

Ускорение обработки данных

СХД NetApp на базе флеш-технологий сыграли важную роль в жизни RP Data, ведь это позволило добиться поставленной бизнес-цели по ускорению процесса обработки данных.

«Мы были уверены, что массивы NetApp EF-Series — лучший выбор для нашего бизнеса. Это зрелое решение на уровне предприятия, которое позволяет не жертвовать надежностью ради скорости», — комментирует Янс.

Ускорение обработки данных

Рисунок 1. Конфигурация флеш-массива NetApp EF-Series для Microsoft SQL Server 2012

Улучшение показателей производительности

Всем известно, что операции с базами-данных значительно влияют на производительность. Используя массивы NetApp EF-Series, RP Data смогла добиться существенного увеличения производительности.

«С помощью массива NetApp EF-Services allflash мы предоставляем то, что всегда запрашивает команда: больше IOPS и более высокую скорость обработки данных. Теперь появилась возможность запускать ETL-процессы в течение всего дня. До того как сделать одну большую сборку и соединить более мелкие пакеты, у нас уходило достаточное количество времени и были определённые сложности. Но теперь мы можем предоставлять клиентам обновлённые данные по нескольку раз в день вместо стандартных еженедельных выгрузок», — отмечает Янс.

Упрощение управления хранилищами

Инженеры RP Data используют программный менеджер NetApp SANtricity® Storage, позволяющий управлять массивами EF-Series. Оптимизированный для флеш, SANtricity помогает администраторам хранилищ получить максимум производительности, осуществляя управление даже в тот момент, когда хранилище находится в режиме онлайн, сохраняя полный доступ к данным в режиме чтения-записи. Все это позволяет выполнять конфигурационные изменения и проводить техническое обслуживание без прерывания операций ввода-вывода.

Реализация высокой доступности

Одним из наиболее критичных аспектов корпоративного решения является способность выявлять и устранять возникшие проблемы. Массив NetApp EF-Series all-flash предлагает возможность сбора и мониторинга диагностируемых данных для обеспечения возможности исключения неисправностей и упрощения анализа. При этом износ SSD детально отслеживается, а по достижении установленных пороговых значений происходит оповещение. Для того чтобы обеспечить возможность восстановления в случае проблем с окружением или выходом компонентов из строя, массив включает в себя избыточные пути ввода-вывода с автоматической отработкой отказов.

Поддержка бизнес-приложений

Кроме озвученного выше, RP Data использует системы хранения NetApp FAS3240, подключённые к свитчам Cisco с использованием протоколов SAN, таких как Fibre Channel и iSCSI. Около 70 % серверной среды компании виртуализировано средствами VMware vSphere, а сами бизнес-приложения базируются на ОС Linux и Windows. С помощью NetApp SnapMirror с целью аварийного восстановления происходит репликация изменённых блоков данных между двумя дата-центрами. А решение NetApp AutoSupport, представляющее собой инструмент удалённой диагностики с поддержкой веб-интерфейса, выполняет проверку состояния здоровья системы.

«Мультипротокольная гибкость, реализованная в NetApp, даёт свои преимущества. Всё это позволяет значительно снизить стоимость и минимизировать имеющиеся сложности», — говорит Янс.

Преимущества для ИТ и влияние на бизнес

Преимущества для ИТ и влияние на бизнес

Преимуществом базы данных недвижимости на массивах all-flash является то, что RP Data с гораздо большей периодичностью может предоставлять максимум информации различным организациям, включая банки и оценочные компании. Собранные, к примеру, в минувшие выходные данные о недвижимости могут быть быстро обработаны и доставлены клиентам к утру понедельника. При этом доставка отчётов также выполняется в срок. Всё это гарантирует клиентам работу исключительно с актуальной информацией.

«С массивом NetApp EF-Series all-flash мы можем позволить себе различные нагрузки, даже те, которые ранее были недопустимы, что позволяет предоставлять информацию заказчикам в реальный момент времени, — отмечает Янс. — Возможность в разы быстрее выполнять имущественную оценку или оценивать одновременно несколько различных объектов помогает клиентам получить наилучшие результаты».

Используя NetApp EF-Series all-flash, RP Data отмечает определённые преимущества:

  • Во-первых, сократилось время передачи данных в БД более чем на 70 % (на эту процедуру уходит 50 минут против затрачиваемых ранее 3 часами).
  • Во-вторых, снизилось время обработки отчётов примерно на 70 % (3,5 часа против 12,5 часа ранее).
  • В-третьих, доступность систем хранения приблизилась к уровню 99,9999 %.

Что ещё…

Что ещё…

RP Data находится на пути модернизации своих NetApp-систем, планируя использовать контроллеры FAS8040 с кластерной ОС Data ONTAP, что позволит перемещать данные между контроллерами хранения без прерывания даже в рабочие часы. Для ускорения операций чтения-записи, которые не используют флеш в чистом виде, RP Data планирует добавить SSD-полки к контроллерам FAS8040. А также впоследствии использовать интеллектуальное кэширование NetApp Flash Pool для автоматического ранжирования данных с более высокой скоростью при меньших затратах.

Перечень используемых в проекте решений:

  • Флеш-массив NetApp EF
  • Системы хранения NetApp FAS
  • ОС NetApp Data ONTAP 8.1.3.
  • NetApp SANtricity Storage Manager.
  • NetApp OnCommand®.
  • Технологии NetApp Snapshot® и SnapRestore®.
  • NetApp SnapMirror.
  • VMware vSphere 5.5.
  • Сервера IBM и Cisco UCS®.
  • Свитчи Cisco Nexus® и Cisco Catalyst®.
  • ОС Windows Server® 2012, 2008.
  • ОС Red Hat, CentOS Linux.
  • БД Microsoft SQL Server 2012.
  • PostgreSQL.
  • NetApp SupportEdge Premium.
  • NetApp AutoSupport.

В центре компетенции NetApp «ИТ-ГРАДа» вы можете выбрать, протестировать и заказать свою систему хранения данных NetApp.

*Текст подготовлен по материалам NetApp Technical Case Study

Поделиться в социальных сетях