月間3億PVのサーバーってどうなってるの? pixiv管理者に聞いた

月間3億PVのサーバーってどうなってるの? pixiv管理者に聞いた

2008年9月21日(日) 09時20分
このエントリーをはてなブックマークに追加

pixivサーバー群:企業秘密もあり詳細はお見せできない。冷却効率も高いの画像
pixivサーバー群:企業秘密もあり詳細はお見せできない。冷却効率も高い
pixiv開発者・管理人:馬骨氏、本人希望もありイラストでの登場の画像
pixiv開発者・管理人:馬骨氏、本人希望もありイラストでの登場
pixivネットワーク管理者:店本氏、やはり本人希望によりイラストのみの画像
pixivネットワーク管理者:店本氏、やはり本人希望によりイラストのみ
pixivサーバー群構成概要図:pixivポリシーの具現の画像
pixivサーバー群構成概要図:pixivポリシーの具現
 9月17日にpixivの月間ページビュー(PV)が3億を突破した。会員数は約32万人、投稿されたイラスト総数は160万枚。1年前の2007年9月10日にサイトがオープンして翌年4月には1億PVを突破している。その後7月に2億PV突破、そして1周年の記念イベントが開催されているタイミングで3億PV突破となった。

 pixivは、イラストに特化したSNSサービスで、ユーザーが投稿したイラストを共有したり見せあい、評価、ランキング、ブックマークなどをつけることでコミュニケーションを図るサイトだ。扱うデータが画像ファイルとただでさえ大きくなりがちなのに、月間PVが3億にも達する「お化けサイト」のサーバーはどうなっているのだろうか。

 YouTubeがGoogleに買収されるまで、あの膨大な量の動画はどこに保存されているのか、だれが維持しているのかについて「都市伝説」が生まれるくらいだったが、このpixivはどうだろうか。そんな疑問を持つ読者(は少数かもしれないが)のために、pixivを運営するクルークに取材を試みた。

 取材に対応してくれたのは、以前サイト開設までのいきさつなどをインタビューさせていただいた、pixivの開発者である馬骨氏と、クルークで馬骨氏とともにサーバー管理を担当している店本氏のお二人だ。

 まず、pixivサーバーだが、大規模なデータセンターのようなホスティングサービスを想像している人もいるかもしれないが、サーバーはすべて自前で用意して管理している。しかも、そのハードウェアはすべて自作だそうだ。Google方式のサーバーのように、マザーボードとハードディスク、メモリに電源をむき出しの状態でエレクターラックにならべていく、筐体レスのサーバー群で構成されている。pixivほどのトラフィックや規模になると、ホスティングサービスのほうが確実で安価にできるのでは、と思ってしまうが、そうでもないらしい。

 SNSサービスとはいえ、イラストファイルという比較的大きな容量のファイルを大量に扱うデータベースや画像サーバー、ウェブサーバー、ロードバランサー(LVS)など、それぞれにチューニングが必要で「つるし」のサーバーでは構成が難しくなり、パッケージ化されたサービスではカスタマイズなどかえって高くつくという。実際、各サーバーはハードディスクの仕様、メモリやキャッシュサイズ、CPUパワーなどバラバラだそうだ。このような構成には、Google方式の筐体レスの自作サーバーが都合がよい。

 画像データが多いので、大規模なストレージサーバーを導入したらどうかと聞いてみたが、店本氏によれば、

「よく、画像表示が遅いといわれ、通信時のデータを圧縮して送ればいいというアドバイスなどをいただきますが、jpgデータなどはそもそも圧縮処理されているので、データ圧縮はあまり効果がありません。それに圧縮するとなるとCPUパワーもかなり必要です。なので、膨大なストレージで用意するよりも、CPUやメモリ(パワー)もたくさんあるサーバー群構成のほうがよいと思っています。車にたとえれば、ひとつのエンジン(CPUやメモリ)に座席(ストレージ)をたくさん作ってもスピードがでません。それよりも車の台数を増やすアプローチです。」

とのことだった。

 このような方式になったのは、じつはサービス開始の初期の段階におのずと決まっていったそうだ。昨年9月10日にサイトを開設したときは、pixivシステム(Webサーバー、PHPとMySQL)クルークのサーバーに間借りする形でインストールしていたが、1週間ほどでサーバーがパンクするようになり、すぐに別のマシンに移したそうだ。しかし、これも長くはもたず、サービス開始の同じ月内に、現状のスタイルになったそうだ。

 その後、ユーザーやトラフィックの増加に伴いシステム構成を拡張していったとのことで、おおまかには以下の図のような構成になっている。

 バックアップはどうなっているのだろうか。最近、1TBのハードディスクを増設したそうだ。そして、バックアップシステムも改良中とのことだ。

 システム管理で大変なのは、とにかくデータ件数とその容量が膨大なことだそうだ。メンテナンスやちょっとした変更でも膨大なDBクエリーが発生してしまう。バナー表示だけでも大変な負荷になる。そのため、管理アプリケーションなどフリーソフトウェアなどでは処理しきれない。もともと馬骨氏がスクラッチで開発したシステムなので、システムの管理ソフトウェアなども手作りのものも多いという。店本氏も画像処理や画像データベースに関する文献、クラスタリングの解説書など読んでいるが、用途が特殊なので必要な情報を得ることが難しいという。分散ファイルシステムにも注目しているそうだ。

 最後に馬骨氏に今後のpixivの抱負について聞いてみたところ、まず手をつけたいのは国際化だそうだ。サイトの日本語以外の言語に対応させたいとのことだ。ただし、国際化のアプローチはユーザー層を考えて、アジア圏からを考えている。韓国語や中国語のニーズは高いようだ。その次はEU圏、フランスやドイツ、イタリアなどは日本アニメの人気も高いし文化も定着している。英語対応は最後になるだろうとのことだ。

 現在実施中の1周年記念イベント「ピクシブたん」は投稿が2,000枚を超えるほど盛り上がっているそうだ。擬人化キャラクターでありながら、特定のイメージに固定されず自由な発想を許すピクシブたん。各自のピクシブたんが創造可能なように、すべてのクリエイターの活動を制限しないサイトのポリシー。サーバー構成や運用にもそれが貫かれている。運用しやすさや制御しやすさより、拡張性や柔軟性を重視した構成といえるだろう。
《中尾真二》
  • ・【PR】
  • ・【PR】
  • ・【PR】
注目の情報[PR]

編集部のおすすめニュース

pixiv、1周年記念「ピクシブたん」企画をスタート

 10日、サイト開設1周年を迎えた「pixiv」では、記念企画として「ピクシブたん」を開始した。

pixiv、開始1年で会員数が30万人突破

 5日、イラスト投稿によるコミュニケーションサイトpixivを運営するクルークは、会員数がサービス開始から1年足らずで30万人を突破したことを発表した。

pixiv、1日あたりページビューがついに1000万PVを突破〜ほぼ1年で急成長

 クルークが運営・開発するイラスト特化型SNS「pixiv(ピクシブ)」は24日に、一日あたりの閲覧数が1000万PVを突破した。

「pixivモバイル」開始——携帯電話でイラストチェック

 クルークは、同社が運営するイラスト特化型SNS「pixiv(ピクシブ)」の携帯電話向けサービス「pixivモバイル」を25日から開始したと発表した。

pixiv、月間2億ページビュー突破——そのトラフィックパターン解析

 イラスト特化型SNS「pixiv(ピクシブ)」を運営するクルークは、運営開始から300日にあたる7月6日に月間ページビューが2億を突破したと発表した。現在の会員数は約22万人、イラスト点数は82万点という。

イラストに願いを込めて…pixiv「七夕祭り」を開催〜ComicStudioやストラップのプレゼントも

 クルークが運営・開発するイラスト特化型SNS「pixiv(ピクシブ)」では25日より、「pixiv 七夕祭り supported by ComicStudio」を開催する。期間は7月8日まで。

pixiv、コミックマーケット74出展情報ページを開設

 イラスト投稿と人気投票、タグ付けによりコミュニケーションを図るSNS、pixiv(ピクシブ)では、8月に東京ビッグサイトで開催される「コミックマーケット74」の出展情報ページを開設した。

pixiv、会員数が16万人を突破〜月間ページビューは1億3000万PVを突破

 クルークが運営・開発するイラスト特化型SNS「pixiv(ピクシブ)」は22日に、ユーザ数16万人、月間1億3000万ページビューを突破した。

pixiv、15万ユーザー突破! ニコ動風他、画像ジェネレータもブーム

 14日、クルークは、同社が運営するイラスト特化型SNS「pixiv(ピクシブ)」のユーザーが15万人に達し、月間ページビューが1億2,000万を突破したことを発表した。

pixiv、月間ページビュー1億突破!

 イラスト投稿サイト「pixiv(ピクシブ)」を運営するクルークは、8日、運営開始から210日間で月間ページビューが始めて1億を突破し、ユーザー数も12万を突破したことを発表した。

pixivユーザー、10万人突破 PV7,000万/月!——人気の秘密を開発者、馬骨氏に聞く

 18日、pixivのユーザー数が10万人を突破したことを受け、開発者とサイトの運営者にそもそもpixivを始めた経緯やコンセプトについて聞いてみた。

ユーザー主導企画で盛り上がるpixiv——「ピキピキマシン猛レース」に「ピクシブたん」

 イラスト特化型SNS「pixiv」は、開設以来順調に登録ユーザー数を伸ばしているが、最近ではユーザー主導の投稿企画が人気を呼んでいるという。

pixiv会員6万人突破!——アクセスは世界80か国

 24日、イラストを投稿するSNSサイトpixiv(ピクシブ)を運営するクルークは、会員数が6万人を突破したことを発表した。

イラストはメールほどにものを言い——イラスト共有SNSpixiv、5万ユーザー突破

 7日、クルークは同社が運営するイラストを投稿、共有するSNSサイト「pixiv(ピクシブ)」のユーザー数が5万人を突破したことを発表した。

ネズミのイラスト投稿で年賀のご挨拶?!〜イラスト共有SNS「pixiv」でお正月企画がスタート

 クルークが運営・開発するイラスト投稿・共有SNS「pixiv(ピクシブ)」では26日より、「お正月企画」を開始した。お正月や干支にちなんだイラストのみの特設ページを設け、ランキングを公開する。

イラスト共有サイト「pixiv」のデザインリニューアルを実施〜全文検索エンジン導入なども

 クルークは19日に、同社が運営・開発するイラスト投稿・共有SNS「pixiv(ピクシブ)」において、デザインリニューアルを行ったことを発表した。

クリスマスイラストを大募集!——イラストSNS「pixiv」がクリスマス特設ページを開設

 クルークが運営・開発するイラスト特化型SNS「pixiv(ピクシブ)」では3日より、クリスマス特設ページ「pixiv Xmas」を開設、イラストの募集を開始した。

初音ミク画像も投稿多数——「pixiv(ピクシブ)」、会員数が3万人突破

 クルークは8日、イラストを投稿・共有するコミュニケーションサービス「pixiv(ピクシブ)」の会員数について、3万人を突破したことを発表した。9月10日の公開から2か月足らずでの達成となった。

イラストコミュニケーションサイト「pixiv(ピクシブ)」利用者数が2万人突破、PVは160万/日

 クルークは15日、イラスト共有サービス「pixiv(ピクシブ)」の利用者について、2万ユーザ・1日160万PVを突破したことを発表した。

イラスト共有サイト「pixiv」、会員増で運営体制が個人から企業に移行

 イラスト投稿・共有SNSの「pixiv」は1日、9月10日の運営開始から約20日間で会員数が1万人を突破したことを発表した。

イラストを見せ合ってコミュニケーションするサイト「pixiv(ピクシブ)」がオープン

 自分で書いた絵やイラストをアップロードすることにより、イラストに興味がある人たちが気軽にコミュニケーションしあえるWebサービス「pixiv(ピクシブ)」が13日にオープンした。

RSS

【これから開催のイベント】

特集・連載

ブロードバンド/無線LANスポット検索

ブロードバンド検索
-