1日10億件以上のメールを自動判別する「Hotmail」の技術とは……マイクロソフト、判別手法を公開
最新版のHotmailでは、SmartScreenを利用して毎日10億件以上のニュースレターを自動的に判別しているという。公開された情報では、どのようにSmartScreenを調整し、迷惑メールあるいはグレーなメールを判別したのかについて、その背景や手法を説明している。
それによると、2006年ごろは、迷惑メールが受信トレイ内のメールの30%程度だった。その後、SmartScreenに多大な投資を行った結果、迷惑メールは3%以下というかなり低い水準にまで減少させることができたが、さらに踏み込んで「受信トレイ内の他のメール」について調査したところ、ニュースレターや通知メールのように、個人メールでもスパムメールでもない、中間的な「グレーなメール」が大多数を占めていることが明らかとなった。
「グレーなメール」対策で問題となったのは、「すべての人に当てはまる一般的な対処方法が存在しない」点だった。そこでマイクロソフトでは、一括処理、自動クリーンアップのスケジュール設定、受信トレイの特別な表示といった機能を提供し、ユーザー自身がグレーなメールを管理できるようにした。しかしこうした機能があっても、最新状態に保つためにはメンテナンスが必要であり、ユーザー自身の判別が必要とされるため、根本的な対策とはならなかった。そこでマイクロソフトでは、あらたな手法を採ることとした。
マイクロソフトが調査を進めると、ここ数年ソーシャル ネットワーキングがデジタル ライフの中心となっているのを受けて、FacebookやTwitterといった人気サイトからの通知メールが受信トレイの大半を占めていることが判明した。そこでHotmailに「ソーシャル ネットワーク」に絞ったメールの表示を導入した。
次に、販売業者、クラブ、地域、学校からのメールや、ショッピングやイベント関連のクーポン、セール情報、通知メールなどの「ニュースレター」を判別するため、特性をリストアップした。そのリストでは「List-Unsubscribeヘッダーが存在するかどうか」「送信元アドレス」「ユーザーに表示する内容」が記載され、それをもとに抽出を可能とした。
また、「ニュースレターとは何か」を明確に定義し、約10,000件のメールを“ニュースレター”あるいは“非ニュースレター”に分類する判定基準を作成した。
さらに“機械学習”という手法を使用し、判定基準のニュースレターのほとんどを安定して判別できるようになるまでモデルを改善し調整するシステムを構築した。判定基準はまったく無作為に抽出されたサンプルなので、フィルターのパフォーマンスはほぼ現実に即しているとのことで、2011年9月には、この機能を社内にパイロット導入したとしている。社内パイロットの対象ユーザーには、ニュースレターを見逃したり正しく判別できなかった場合に報告を義務付け、失敗の分析には数週間を費やしたという。
ニュースレターの多くは平日に配信され、毎日15億件のニュースレターがユーザーに届いている。これはマイクロソフトのサーバに配信されるすべての電子メールの約半数となる。また、平均的なユーザーの受信トレイのニュースレターの73%に相当する。マイクロソフトでは今後、新しいカテゴリや機能を継続的に追加していく予定だとしている。また、メールでの領収書や銀行明細などをより効果的に表示したり管理するための方法についても、引き続き検討していくとしている。
注目ニュース
Windows PC向けオンラインRPG『真・女神転生IMAGINE』を騙るフィッシングサイトが出現した。ユーザー登録をしていなくても、スパムメールを送りつけ、偽サイトに誘導するという行動に出ている...
セキュリティベンダーのソフォスが運営するNaked Securityは、フェイスブック上で『マリオカート』が遊べると騙るスパムが流行していると注意を促しています。
ソフォスは2日、2011年7~9月の「スパム送信国ワースト12」に関する最新レポートを発表した。2010年の同時期と比較してアジア諸国が占める割合が大幅に増加し、とくに韓国は前回7位から2位に急上昇...
いよいよアップルは本日、次期iPhoneを発表する予定だとされている。しかし一方で、この話題に便乗したスパムメールが出回っているとして3日、エフセキュアが注意喚起する文章を公式ブログで公開した。
特集
- ├Google、Facebook、ヤフーなど15社でフィッシング対策「DMARC.org」を発足
- ├オンラインRPG『真・女神転生IMAGINE』フィッシング、登録有無に関係ないスパム横行
- └IBMが恒例の未来予測を発表!コンピューターが人の心を読む
- ├「Firefox 10」「Thunderbird 10」正式版がリリース……アドオンの互換性確認が緩和
- ├NTTドコモ、第10回『iのあるメール大賞』2月14日に発表……過去作品の人気投票もスタート
- └「Firefox 8」「Thunderbird 8」が正式公開……Twitter検索エンジン同梱、新アドオン「Lightning」など
- ├Appleをかたるフィッシングメールが頻発! これまでにない巧妙な手口
- ├ドコモ「spモード」不具合、約1万9千人に影響……個別にDM郵送など今後の対応を発表
- └SMSを使用する詐欺、製薬会社を狙うトロイの木馬--月例レポート(Dr.WEB)
- ├Xbox LIVEアカウントハック被害者が公式サイトの脆弱性を指摘
- ├WindowsLiveメッセンジャーにサードパーティ製クライアントの参入が可能に
- └マイクロソフト「SkyDrive」、スマホから利用可能に……iPhoneアプリ、Windows Phoneアプリ同時公開
- ├今度はGoogleがマイクロソフトに反論「P3Pは時代遅れ」
- ├ネットトラブルの防止へ…神奈川県が疑似体験教材を作成
- └マイクロソフトがGoogleを非難!「IEでもプライバシー設定を回避して情報収集している」
- ├攻撃に利用されるセキュリティホールの98%は発見から1年以上経過
- ├受験支援ソフトで障害児の入試を公平、公正に……東大先端研と日本MS
- └日立ソリューションズ、違法コピーを防止するサービスをクラウドで提供……MS「PlayReady」を利用
- ├IT企業11社、IPv6ネットワークで共同実験……ヤフー、ミクシィ、楽天、ドワンゴも参加
- ├「ハードとソフト両面をつなげてシナジーを」……超薄6.7mmのハイスペックスマホ「MEDIAS ES N-05D」
- └イー・アクセス、LTE国内最速クラスの「EMOBILE LTE」を3月より提供開始……下り最大75Mbps
























