Googleの新しい大規模言語モデル「PaLM 2」とは？

OpenAIが生成AIの開発をリードしている一方で、Googleの遅れを非難する声も少なくありません。しかし、Googleも負けずに2023年のGoogle I/Oカンファレンスで、新しい大規模言語モデル「PaLM 2」を発表しました。

Googleの新しいLLMは、様々な用途に合わせて4種類のサイズが用意されており、すでにいくつかのGoogleのサービスに搭載されているようです。

スクロールでコンテンツに進む

PaLM 2とは？

5月10日に開催されたGoogle I/O 2023で、Google CEOのSunda Pichaiは、Google’の最新の遊び道具であるPaLM 2を公開しました。

Pathways Language Model 2の略で、Google’のアップグレードされたLLMは、PaLMの2番目の反復であり、最初のバージョンは2022年4月に発売されました。PaLMを覚えていますか？当時は大きな話題となり、ちょっとした会話や基本的なジョークを話すことができるなど、多くの関心を集めていました。しかし、6ヵ月後、OpenAIのGPT-3.5が、PaLMを含むすべてを吹き飛ばしてしまった。

その後、OpenAIはGPT-3.5を大幅にアップグレードしたGPT-4を発表しました。しかし、この新しいモデルは、MicrosoftのBing AI Chatを筆頭に、多くのツールに統合されています。Googleは、PaLM 2でOpenAIとGPT-4を狙い、そのアップグレードしたLLMが、大きなギャップと思われるものを埋めることを期待しています—Google Bardの発表は、大成功とは言えませんでした。

Pichaiは、PaLM 2が4種類のモデルサイズで登場することを発表しました：Gecko、Otter、Bison、Unicornの4種類です。

Geckoは非常に軽量なので、モバイルデバイスでも動作し、オフラインの状態でもデバイス上で優れたインタラクティブアプリケーションを実現できるほど高速です。この汎用性により、PaLM 2は、より多くの方法で、より多くの人々を助けるために、製品クラス全体をサポートするように微調整することができます。

Geckoは1秒間に約20個のトークンを処理することができ、トークンとは、生成AIモデルで使用するために実際の単語に割り当てられる値のことで、モバイルで展開可能なAIツールのゲームチェンジャーとなる可能性が高いです。

PaLM 2のトレーニングデータ

GoogleはPaLM 2のトレーニングデータについて正確には教えてくれませんでしたが、リリースされたばかりであることを考えると理解できます。しかし、GoogleのPaLM 2レポート[PDF]には、PaLM 2が数学、論理、科学をより深く理解することを望んでおり、トレーニングコーパスの大部分がこれらのトピックに焦点を当てていると書かれています。

しかし、PaLMも負けず劣らずだったことは特筆に値する。GoogleがPaLMを公開した際、5,400億ものパラメータで学習していることを確認しましたが、これは当時としては途方もない数字でした。

OpenAI’のGPT-4は1兆個以上のパラメータを使用すると言われており、この数字を1兆7千億個とする推測もあります。GoogleがPaLM 2をOpenAIのLLMと直接競合させることを望んでいる以上、少なくとも、それ以上ではないにせよ、それに匹敵する数字を備えていることは間違いないでしょう。

PaLM 2をさらに大きく後押しするのが、その言語トレーニングデータです。GoogleはPaLM 2を100以上の言語でトレーニングし、より深く文脈を理解し、翻訳能力を高めています。

しかし、それは音声言語だけではありません。GoogleがPaLM 2に対して、より優れた科学的・数学的推論を提供するよう要求したこととリンクして、LLMは20以上のプログラミング言語の訓練も受けており、プログラマーにとって驚異的な資産となっています。

PaLM 2はすでにGoogleサービスを動かしているが、まだ微調整が必要だ。

PaLM 2を手に入れ、その能力を確認できるようになるまで、そう長くはかからないだろう。運が良ければ、PaLM 2のアプリケーションやサービスは、Bardよりも優れたものになるはずです。

しかし、あなたは（技術的には！）すでにPaLM 2を使用しているかもしれません。Googleは、Android、YouTube、Gmail、Google Docs、Google Slides、Google Sheetsなど、同社の25の製品でPaLM 2がすでに導入され、使用されていることを確認しました。

しかし、PaLM 2のレポートでは、特にさまざまな言語での有毒な対応について、まだやるべきことがあることも明らかにされています。

例えば、具体的に有害なプロンプトが与えられた場合、PaLM 2は30％以上の確率で有害なレスポンスを生成します。さらに、特定の言語（英語、ドイツ語、ポルトガル語）では、PaLM 2は17％以上の確率で有害な反応を示し、人種的アイデンティティや宗教を含むプロンプトでは、この数値がさらに高くなりました。

いくら研究者がLLMの訓練データをきれいにしようと思っても、どうしてもすり抜けてしまうものがあるのです。次の段階として、PaLM 2のトレーニングを継続することで、そうした有害な反応を減らしていきます。