エグゼクティブ・サマリー
インド全体で、19,000 以上の方言が話されています。ただし、多くの大規模言語モデル (LLM) は英語を基盤としているため、英語を母語としない話者が AI テクノロジーの恩恵を受けるのは困難です。Tech Mahindra のイノベーション・センターである Makers Lab は、インド言語を基盤としたインド人向けの LLM の構築に着手しました。現地のチームは、村から方言のサンプルを収集し、市民はさらに 150,000 のサンプルをオンラインで提出しました。その後、サンプルは、Project Indus と呼ばれる 12 億のパラメーターを持つ AI モデルのトレーニングに役立ちました。このモデルは、小規模ビジネスや個人が簡単に導入できるよう、サイズを意図的に制限していました。
Indus LLM は、インド全土で多数のアプリケーションを活用しています。例えば、Tech Mahindra グループ企業の Mahindra Finance などは、低所得世帯向けに、方言で金融サービスを支援する可能性を模索する一方で、学生はチャットベースの AI 機能の恩恵を受けることができます。このソリューションは、ハイパフォーマンスでコスト効率に優れた第 5 世代インテル® Xeon® スケーラブル・プロセッサー上で実行されており、インテルの AI PC でもテストされています。
課題
インド全体へのイノベーションの可能性は巨大ですが、多くの人が、必要なテクノロジーにアクセスできないのは、方言に対応していないためです。
Tech Mahindra の Chief Innovation Officer 兼 Global Head of AI and Emerging Tech である Nikhil Malhotra 氏は述べています。「インドの小さな都市に行くと、英語を話せる人はわずか 20% しかいません。」
Nikhil Malhotra 氏は、Tech Mahindra の Chief Innovation Officer 兼 Global Head of AI and Emerging Tech です。
インド全土で、公式に認められている 27 言語には 1,600 以上の方言があります。非公式では、19,000 以上の方言が話されています。「インドでは、50 キロメートルごとに方言が変わります」と Malhotra 氏は続けます。「グローバルなテクノロジー企業は、基本言語でやり取りしていますが、方言には対応していません。方言が見逃されると、人口の大部分が見過ごされることになります。」
Makers Lab は、2014年に設立された Tech Mahindra のイノベーション・センターです。その使命は、より持続可能な人工知能ソリューションを構築することで、お客様とインド経済に利益をもたらす研究開発の取り組みを推進することです。
Makers Lab は、インド全土の都市と農村人口のギャップを埋めるための会話システムを実現する大規模言語モデル (LLM) である Project Indus の構築に挑戦しました。
インドでは非常に多くの言語が話されているため、Malhotra 氏と彼のチームはまず 1 言語を選択する必要がありました。「世界で最も広く話されているヒンディー語を採用しようと考えたのです」と Malhotra 氏は述べています。「ヒンディー語は 42 以上の異なる方言で話されており、一部の方言は消えつつあります。最初の原則は、方言を LLM に確実に含めることで、それらを保存できるようにすることでした。」
「Project Indus はまた、大手 IT サービス企業が、ChatGPT や Meta の Llama を基盤とせずに、大規模言語モデルをゼロから構築できることを示す光となったのです」と彼は付け加えました。
Tech Mahindra が Project Indus から商業価値を模索している一方で、Malhotra 氏と彼のチームは、それをオープンソース化することでイノベーションを起こすことも計画していました。このモデルを広く活用するためには、小規模企業や個人でも、実行可能にする必要がありました。
「大規模言語モデルで問題解決に GPU を必要とすることは本当に必要なのでしょうか？」 Malhotra 氏は尋ねます。「企業であれ、若手イノベーターであれ、GPU を維持できる顧客は多くありません。高価だからです。インドを単なるテクノロジーの消費国ではなく、生産国にするという当社の哲学は、倹約を徹底しなければ実現できないのです。データセンターと GPU に多額の費用をかけるほどの余裕はありません。GPU が必須ではないことを確認し、サーバーだけでなく一般的な PC でも実行可能であることを確認する必要がありました。」
ソリューション: インド向けのオープンソース AI
最大の課題の 1 つは、AI モデルをトレーニングするために、インド全土から方言のサンプルを収集することでした。「ヒンディー語を話す中心地にチームを派遣しました。村の長老と話す必要がありましたが、言語が他者に広まることを懸念していたため、説得するのが困難でした」と Malhotra 氏は述べています。「地元の方言と私たちの方言を理解し、翻訳を支援してくれる人を見つけることは困難でした。」
Makers Lab はまた、訪問者が個人情報を提供せずに、方言で録音を送信できるウェブサイトも設定しました。若者を雇用機会に結び付ける非営利の Tech Mahindra Foundation は、方言のサンプル収集も支援しています。「これはインドを支援する目的であったため、多くの方に支援されました」と Malhotra 氏は述べています。「方言を提供しようと、人々が声を挙げてくれました。」
LLM をゼロから構築するコストは数百万ドルと推定されることもありましたが、Makers Lab は、これまでに合計 40 万米ドルを費やして Project Indus を構築しました。「これは一部、インテルの支援のおかげです」と Malhotra 氏は述べています。
現在、Project Indus は、37 のヒンディー語に対応し、音声またはチャットボット・インターフェイスと組み合わせて使用できます。AI コミュニティーである Hugging Face からダウンロードして、インド国内でオンラインで利用できます。
Makers Lab は、第 5 世代インテル® Xeon® スケーラブル・プロセッサーで Indus LLM のベンチマークを完了しました。インテル® Xeon® プロセッサーは、AI アクセラレーター向けで最もベンチマークが高いホスト・プロセッサーです。1 第 5 世代インテル® Xeon プロセッサーは、他のプロセッサーと比較して、一般的な AI ワークロードにおいて、TCO を最大 62% 削減します。2
インテル® アドバンスト・マトリクス・エクステンション (インテル® AMX) とインテル® アドバンスト・ベクトル・エクステンション 512 (インテル® AVX-512) により、インテル® Xeon® スケーラブル・プロセッサーの AI タスクのアクセラレーションを実現します。「これらのアクセラレーターを活用して、インテルのプロセッサーで快適に実行できるようにソリューションを最適化したいと考えていました」と Malhotra 氏は述べています。さらに、このソリューションは、Non-Uniform Memory Access (NUMA) 向けに最適化されています。NUMA は、プロセッサーが一部のメモリーを共有するメモリー・アーキテクチャーです。
インド全土で、公式に認められている 27 言語には 1,600 以上の方言があります。非公式では、19,000 以上の方言が話されています。
Makers Lab は、インテルと協力し、インテルの AI PC で Indus LLM をテストしました。デバイスに CPU、GPU、ニューラル・プロセシング・ユニット (NPU) を搭載し、AI タスクをローカルでより効率的に処理します。「インテルと緊密に連携しており、モデルを変更した瞬間、インテルのエンジニアリング・チームにそれを送信します。24 ～ 48 時間以内にテストし、正常に動作していることを確認しています」と Malhotra 氏は述べています。
結果
Makers Lab は、大規模言語モデル向けの一般的なベンチマークで、自社のソリューションが良好にパフォーマンスを発揮することを望んでいました。これらには、さまざまなタスクでインドの言語を使用して LLM を評価する Indic Eval が含まれます。「Project Indus は、比較対象としていた代替モデルよりもパラメーターが大幅に少ないにもかかわらず、Indic Eval のパフォーマンスは競争力のあるものでした」と Malhotra 氏は述べています。「推論を測定する ARC Challenge と、文章補完ベンチマークである Hellaswag でも良好なパフォーマンスを発揮しました。」
ユーザーの観点から、ほかの Benchmark も重要でした。トークンは、AI モデルが認識する文字のシーケンスです。「CPU で実行する際、最初の出力トークンに到達するまでの時間、2 つのトークン間の遅延、入力プロンプトの長さ、出力長、合計スループットが重要なベンチマークです。同じ条件でを比較する方法がなかったため、インテルのエンジニアリング・チームが支援してくれました」と Malhotra 氏は述べています。
第 5 世代インテル® Xeon® スケーラブル・プロセッサーで実行された Indus LLM は、1 秒当たり平均 33.9984 トークンを処理しました。3 合計応答時間は、22 トークンで 0.249 秒、167 トークンで 4.27 秒でした。3 エンドツーエンドの平均レイテンシーは、3.07 秒でした。3
Makers Lab は、Project Indus 向けに、さまざまなユースケースを計画しています。子供は学校で英語を学ぶことが多いですが、学習の思考プロセスは母国語で行われる場合があります。母国語で検索できるようになると、子供たちの役に立つでしょう。「これは、子供にパーソナライズされた教育を可能にするための最大のユースケースの 1 つです」と Malhotra 氏は続けます。
「農民は、方言で携帯電話に話すことで、どの農薬を、どの作物に、どの時期に使用すべきか、降水量と土壌指標に関するアドバイスなどを入手できます」と Malhotra 氏は述べています。「Mahindra Group は、全国各地で低所得者向けの金融サービスも提供しており、ヒンディー語とその方言で多くのクエリーが寄せられています。現在、Indus を活用して、Mahindra Finance 内の多数のタスクを自動化しています。お客様は、方言で話すことで、問題をより迅速に解決できます。」
未来のイノベーション
Malhotra 氏は、インテルの AI PC が教育を支援する可能性を高く評価しています。「学校までの長い距離を毎日歩く子供たちがいます」と彼は述べています。「村のコミュニティ・センターで、子供たちが今、AI PC を使用していることを想像してください。質問の内容が、英語や方言で表示されていない場合でも、方言で質問して回答を得ることができます。子供たちに、自分自身でより良い生活を築く機会を提供します。それが、AI PC の最大メリットの 1 つだと思います。」
「AI PC は、将来的にほぼすべてのユーザーに分散型 AI システムを提供し、旅行の予約、経費の管理、動画と画像によるレシピなど、あらゆるタスクを支援します。」
Tech Mahindra は、現在 700 以上の言語が話されているインドネシア向けの LLM も構築しています。「多くの国々が、現在、AI の主権を検討しています」と Malhotra 氏は述べています。「それぞれの国には、異なる文化的な偏見があり、他国の偏見が AI の会話に反映されることを望んでいません。」
「イノベーションには、多数のコラボレーションが必要です」と彼は語ります。「謙虚さも必要です。テクノロジーを活用して、利己的になるとは思えません。成功するには、数百回もエラーをする必要があります。そのため、自分自身と目の前のタスクに対する共感が重要です。」
ソリューション・スポットライト
- Tech Mahindra の Project Indus は、37 の方言を含むヒンディー語の言語を処理する大規模言語モデル (LLM) です。
- LLM は、チャットボットを介したテキスト入力などに使用したり、音声インターフェイスを使用したりできます。
- このオープンソースのソリューションは、GPU なしでインテルの AI PC とサーバーで実行されるため、小規模企業や個人が簡単に採用できます。
- 第 5 世代インテル® Xeon® スケーラブル・プロセッサーのベンチマークでは、システムが毎秒平均 33.9984 トークンを処理していることが示されています。3
- 農業技術、金融アドバイス、若者向けのテクノロジー・アクセス、言語保存などの用途があります。