У корпорації Microsoft говорять про розробку нової технології для швидкого сортування дуже великих об’мів даних.
Нова технологія Flat Datacenter Storage (FDS) була формально презентована на конференції Association for Computing Machinery в штаті Арізона. В майбутньому FDS повністю або частково буде інтегрована в движок пошуковика Bing, а також корпоративних продуктів Microsoft для процесингу даних.
“Підвищення продуктивності при роботі з великими обсягами даних – це дуже важливо відразу для безлічі галузей бізнесу. Майже всі проблеми великих даних з новою технологією можуть бути ефективно вирішені, що на практиці дає можливості по економічній вигоді і прискоренню бізнес-процесів”, – говорить лідер проекту та інженер Microsoft Research Джеремі Елсон.
За його словами, в тестах, проведених за допомогою набору MinuteSoft система показала продуктивність процесингу інформації на утраті 1401 гігабайти в хвилина, проти раніше встановленого Yahoo рекорду в 500 гігабайт на хвилину. Також в тестах Microsoft скоротила і кількість задіяних ресурсів. Якщо у Yahoo в еталонному тесті було використано 1406 серверів і 5624 жорстких диска, то зараз Microsoft задіяла 250 серверів і 1033 диска.
Як розповіли в Microsoft, технологія FDS використовує дещо інший підхід до сортування даних, ніж Google MapReduce і Apache Hadoop. Тут велику частину процесингу даних виконує кожен окремо взятий сервер, тоді як інші технології створюють сортувальні кластери і розбивають дані на сегменти, зберігаючи ключі на центральному вузлі. У Microsoft говорять, що FSD дозволяє помітно розвантажити мережевий трафік і дозволяє одному серверу обробляти до 2 гігабайт даних в секунду.
