課題
米国各地の自動センサーから取得した過去の気象記録は、予測モデル、リスク分析、早期警報システムを支える基盤を形成しています。これらの記録が不完全だったり信頼性に欠けてていたりすると、緊急事態担当者は警告を出すためのリードタイムを十分に確保できず、影響予測の精度が低下し、さらには命や財産の損失が大きくなる可能性があります。強固な過去データのアーカイブと分析が活用されている場合、成果は大幅に向上します。たとえば、ハリケーン・ハービーの発生時には、過去の洪水パターンを参考にした計画により、平均避難時間が 40% 短縮されました。1
1930年以降の極端な気象の傾向を見ると、気圧の最低値がより低く、最高気圧がより長く続く傾向が顕著にあらわれており、これにより発生頻度と強度も増大しています。関連する履歴データなしに警告システムと対策を確立した場合、緊急事態担当者は、現場の気象影響に適切に備えられない可能性があります。
連邦政府の主任気象学者である Sunny Wescott 氏は、国内で発生する異常気象の脅威、その影響が公共・民間の重要資源に及ぼすリスク、そしてクリティカルなインフラストラクチャーへと連鎖的に及ぶ脅威の分析を専門としています。彼女は現在、海軍大学院の研究プロジェクトに携わっており、気圧の変化が国土安全保障の運用にどのように関係するかを研究しています。気圧の激しい変動は、人間の行動に影響を与える可能性があり、運用が必要となる頻度や職員の健康状態、および真に必要とされる日に十分なパフォーマンスを発揮する能力に影響を及ぼす可能性があります。
Wescott 氏は、アイオワ州立大学の公開データセットにアクセスして、米国内の数百か所での気圧の高低を調査し、過去 90 年間の気象変化を総合的に把握したいと考えていました。しかし、このデータセットには場所固有の気候データが豊富に含まれているものの、GEMPAK と呼ばれる旧フォーマットであるため、ごくわずかの科学者のみがアクセスできる状態でした。
ソリューション
GEMPAK データセットを展開する方法を見つけるため、Wescott 氏は以前のプロジェクトで協働したシステム・インテグレーターである Government Acquisitions, Inc. (GAI) に連絡を取りました。GAI のデータ・サイエンティストである Emma White 氏は、何をすべきかを理解していました。レガシーデータフォーマットを、分析クエリやデータ・プロセシングに最適化された、人気の高いオープンソースの列指向データ・ストレージ・フォーマットである Parquet へと変換することです。しかしながら、データセットの一部を使ってテスト変換を行った結果、さらなる支援が必要であることを認識しました。彼女は Wescott 氏と共に、GenAI ソリューションを専門とする企業である Kamiwaza AI に連絡を取りました。Kamiwaza のエンジニアは AI を使用して GEMPAK ファイルのフォーマットをスキャンし、GEMPAK フォーマットを説明する 1 つのバックグラウンド・ファイルを AI エージェントに提供し、その後データ・プロセシングを開始しました。
「GEMPAK フォーマットについて理解している人はいませんでした。さらに、そのデータセットは、人間が目を通して理解できる規模をはるかに超えていました。もし今 AI という存在がなければ、この処理を成し遂げることはできなかったでしょう。」—Kamiwaza AI、CEO、Luke Norris 氏
チームは AI エージェントを使用することで、わずか 1 週間ほどで 13 億行と 1 兆近いデータポイントが含まれる GEMPAK のデータを Parquet に変換しました。データのクリーニング、AI エージェントのトレーニング、200 を超えるグラフの生成には、さらに数週間を要しました。このプロジェクトを手作業で実施していたのであれば、5～10 人のデータエンジニアでも 1 年以上かかっていたでしょう。2
データが Parquet に変換されたため、White 氏は Kamiwaza が開発した AI エージェントをデータ分析に使うことにしました。エージェントには、特定のデータを検索して、コンテナにプルし、クリーンアップするように指示しました。この作業には、null 値や明らかに不正確な気圧値を排除する処理も含まれていました。エージェントは、チームの意図を非常によく理解し、補助グラフの作成やフォローアップ質問など、データを補強するためのアクションを取りました。
このような大規模なデータセットと、膨大な量の分析、レポート、グラフを扱うことから、チームは十分な処理能力を必要としていました。AI エージェントは複数の LLM モデルを実行するため、1 テラバイト近い VRAM を搭載したシステムが必要でした。Wescott 氏と共同研究者は、インテル® Xeon® 6 CPU と 8 つのインテル® Gaudi® アクセラレーターを搭載したシステムを導入しました。Kamiwaza の CEO である Luke Norris 氏は、このコンフィグレーションにより、チームは「数日または数週間かかっていたインサイトを、数秒で得られるようになった」と述べています。2
インテル Gaudi アクセラレーター上で動作するように Kamiwaza の AI エンジンを最適化するにあたり、移行を迅速かつ容易に進められたのは、インテルの Liftoff プログラムに参加していたおかげだと Norris 氏は述べています。このプログラムから、Kamiwaza のコードの一部を書き換えて検証するためのデベロップメント・リソースが提供されました。
推論パフォーマンスが重要である一方で、Wescott 氏はハードウェア・システムとホスティング・エンバイロメントのエネルギー効率も重視していました。インテル® Gaudi 3 アクセラレーターは、競合製品と比較して、推論において 40% 優れた電力効率を実現します。3
「AI Liftoff プログラムは、Kamiwaza に非常に大きな価値をもたらしてくれました。必要なリソースを入手するのに役立ちました。これまでの経験の中でも、最も容易な移行だったと思います」— Kamiwaza、CEO、Luke Norris 氏
GAI によると、このプロジェクトでインテルと提携するもう 1 つのメリットは、インテルが提供する堅牢で非常に高いセキュリティを備えたサプライチェーンです。「この種のソフトウェアやハードウェアに途切れなくアクセスできること、そして公共部門で重要となるセキュリティーの面においても、どちらにとっても重要です」と White 氏は述べています。
結果
このプラットフォームは、時間の経過に伴う気圧の変動に関する研究論文を強化するだけでなく、緊急事態担当者や関係者が、その地域の気象事象をよりよく理解し、備えるためにも役立ちます。たとえば、新任の緊急辞退担当者の場合、時速 65 マイルの風速予測が通常の範囲なのか、記録的な強風なのかを判断できない可能性があります。担当者は自然な言葉を使って Kamiwaza と GAI が開発した AI エージェントに質問し、その地域で同様の風が発生したすべての事例を検索し、その影響を要約させることができます。グラフに 3 つの事例のみ表示されており、見出しには倒れた電線や倒木について掲載されているのであれば、担当者はそれに応じた適切な準備を行うことができます。
「（Kamiwaza との）話し合いにおいて、持続可能性は大きなテーマでした。AI を使用してスマートな選択をしていることを、チームに証明したいと考えていました」— 連邦政府、最高気象学者、Sunny Wescott 氏
あるいは、似たような事象が 2,000 回発生しており、その地域はすでにそのような風への耐性が高いと考えられる場合には、担当者はそれを日常的な気象事例とみなすことができます。
この共同作業チームによって作成された AI プラットフォームは、Wescott 氏が論文に必要なデータにアクセスできるようにしただけでなく、今後のさまざまな取り組みに広く影響をもたらしています。使いやすいプラットフォームで、データを検索するにあたりコーディングの知識は不要ありません。アイオワ州立大学のデータセットを活用した Wescott 氏のプロジェクトで得られた重要な経験を活かして、Kamiwaza は、他の公共および民間部門の関係者に対し、リアルタイムおよび履歴データの膨大なリポジトリを実用的なインサイトへと変換できるよう支援する体制を整えています。
「これは非常に柔軟なプラットフォームです。素晴らしく、使いやすいです」— GAI、データサイエンティスト、Emma White 氏
たとえば、National Data Buoy Center (NDBC) は、係留ブイおよび漂流ブイと沿岸観測ステーションからなる巨大なネットワークである National Buoy System を運用しています。これらのブイは、海洋気象予測、気候監視、緊急時レスポンス計画に不可欠な、リアルタイム・データの重要なソース源となっています。Kamiwaza と GAI が開発した AI プラットフォームは、このデータを解析することで、船舶、海洋掘削、沿岸業務における海上安全性の向上に貢献することができます。
その他にも、公益事業会社は、さまざまな水文センサーや環境センサーを使用して河川の状況を監視し、水力発電の最適化、ダムの安全確保、環境コンプライアンスの維持に役立てています。このデータは、独自のバイナリーフォーマット、時系列データ、リレーショナル・データベース、テキスト、JSON、XML など、さまざまな形式で保管されています。データ量が膨大で多様なフォーマットがあるため、Kamiwaza の AI エージェントを採用することで、データ分析を大幅に高速化し、新たなインサイトを引き出して、水力発電の運用効率を推進することができます。