ウェザーニュース 天気予報精度評価 2020年9月

ウェザーニュース

9月は夏の名残でゲリラ豪雨が発生することもあり、雨が降る・降らないの予報が難しい時期です。それに加えて今年は発達した台風も相次いで日本列島に接近し、影響を及ぼしました。

ウェザーニュースでは、精度の高い天気予報を提供することを使命と考えて、日々予報精度の改善に取り組んでいます。

2020年9月の精度実績を、ウェザーニュース予報精度改善チームの気象予報士 宇野沢が解説します。

ここでは、生活への影響度が大きくなる"雨の見逃しがないか"を「降水捕捉率」で検証し、同時に"偏りのない予報"での精度を計測するために「適中率」での精度評価も併せて行っています。

【降水捕捉率】雨が降ったところへの予報精度は？

まず、実際に雨が降っていたところに対して、雨の予報を出していたかどうかを示す「降水捕捉率」を用いて精度を検証した結果、2020年9月のウェザーニュースの予報精度は90%となりました。


※ここで扱う予報精度は、気象庁の評価方法に準拠した「降水捕捉率」を指しており、朝5時に発表された当日の天気マークを対象としています。
対象地点はアメダス約1300箇所で、1日の積算降水量が1mm以上となった場合を「降水あり」としています。

気象庁も同様に、発表した予報に対して評価を行っており、毎月の降水捕捉率をホームページ上で一般に公開しています。

ウェザーニュースの雨予報に対するスタンス

ただ、この降水捕捉率は「雨が降ったところに雨の予報を出していたのかどうか」なので、雨が降っていないところの予報については、考慮していないものになります。

そのため、あらかじめ雨の予報を多く出しておけば、当たる確率が高くなるということになってしまいます。極端なことを言うと、全地点に毎日雨が降ると予報すると精度100％になるのです。

また、ウェザーニュースでは、より一般の方の感覚に合う天気予報を出せるように努めています。

ウェザーニュースには、アプリ会員から現地の空の写真とコメントを送っていただく「ウェザーリポート」という制度があり、写真を撮ることが難しい場合には、雨や晴れなどの天気報告を送っていただいています。

これにより、1mmに満たないような弱い雨でも、実際には現地にいる人が「雨が降っている」と感じていることがわかっています。

そのため、1mmに満たないような弱い雨でも、現地で“雨が降っている”と感じる降り方の雨になると予想すれば、雨予報をお伝えしていくことにしているのです。

【適中率】雨が降る予報・降らない予報への精度は？

そこで、ウェザーニュースの雨予報のスタンスに合うように、精度評価を行いました。

ここでは降水捕捉率(1mm以上の雨で計算)ではなく、雨が降る・降らないそれぞれの予報に対する精度として【適中率】と呼ばれるもので評価を行っています。

この【適中率】とは、
　・雨予報のところは、雨が降ったら正解
　・雨が降らない予報では、雨が降らなかったら正解
という、雨が降る・降らないそれぞれの予報に対して評価をする指標です。

また、現地で“雨が降っている”と感じる1mmに満たない弱い雨についても評価するため、1日の積算降水量が0.5mm以上となった場合を「降水あり」として算出しています。

その結果、2020年9月のウェザーニュースの適中率は81.3％となりました。

その他は、降水捕捉率での評価と同じく、朝5時に発表された当日の天気マークを対象とし、対象地点はアメダス約1300箇所です。

気象庁も適中率についても毎月の値をホームページ上で公開しており、2020年9月においては81％としています。（※気象庁は1mm以上を降水ありとして算出）

2020年9月を振り返って

天気予報の精度を計測するには、適中率や降水捕捉率などいくつかの方法があります。

「適中率」は気象庁によると、正確には"降水の有無の適中率"とされていて、晴れと曇りの区別はありません。これは発表した全ての予報に対して、降水有りの予報のうち実況で降水があった場合と、降水無しの予報のうち実況で降水が無かった場合、この2つを正解としてその割合をみるものになります。この場合、降水の有無に対して外れと判定されたものは、見逃しと空振りが混在することになります。

「降水捕捉率」はこちらも気象庁によると、実況で降水があった場所に対して降水有りと予報していたか、をみるものとされています。この評価方法であれば生活への影響がより大きいとされる降水に対して正しく予報できていたかをみることができます。ただし、空振りをある程度は許容する予報となってしまうきらいがあります。

このように評価方法はそれぞれ特徴を持っています。ウェザーニューズ予報センターでは、この特徴を踏まえて適中率、降水捕捉率をともに計測しています。
日々の予報の中では、見逃しによるリスクが大きいと考えられる気象状況であれば見逃しを、空振りによるリスクが大きいと考えられる気象状況であれば空振りを、それぞれ最小限にするようにバランスをとりながら運営を行っています。

これからも予報精度評価の計測結果を基に改善点を探り、それを予報システムに活かして、より精度の高い予報を発信するためのサイクルを運営し続けていきます。

【宇野沢 達也】
ウェザーニュース予報センター 気象予報士。千葉県旭市出身 自治体防災担当職員から転職し入社27年目。予報精度改善チームで予報業務および精度検証・改善を行っている。

参考資料など

降水捕捉率 検証方法説明(気象庁ホームページ) https://www.data.jma.go.jp/fcd/yoho/kensho/explanation.html
気象庁 天気予報検証結果 https://www.data.jma.go.jp/fcd/yoho/data/kensho/score_f.html