日本電気（NEC）は10月8日、ビッグデータの分析を高速化する分散処理技術を、新たに開発したことを発表した。 Hadoopによる分散処理基盤では、レコメンド・価格予測・需要予測など、データから規則性やパターンなどを抽出する「機械学習」等の複雑処理が高速に実行できなかった。新技術では、機械学習で頻繁に用いられる繰り返し演算および行列演算を、信頼性を損なわずに高速化できるため、Hadoopによるビッグデータの機械学習処理を、従来の10倍以上で高速化できるという。 新技術では、分散処理手法「MapReduce」間のデータ受け渡しを、HDDでなくメモリ経由で実現することで、繰り返し演算を高速化した。 また、サーバ間の通信効率を高めるため、別の分散処理手法である「MPI」（Message Passing Interface）を利用可能とし高速化を実現した。 さらに世界で初めて、メモリ上にある処理の状態を高速にハードディスクに保存する技術を世界で初めて開発したとのこと。本技術を用いて、定期的に処理の状態をハードディスクに保存し、サーバ故障時にはハードディスクに保存した処理途中の状態をメモリに読み込むことで処理が継続できる。
NECと米Cloudera、ビッグデータ活用ソフトウェア分野で協業発表
