Google Research
research.google/blog/
Towards better health conversations: Research insights on a “wayfinding” AI agent based on Gemini
この記事では、Geminiに基づく「Wayfinding AI」エージェントの研究成果を紹介しています。このAIエージェントは、ユーザーが健康情報を見つける手助けをするために、積極的な会話ガイダンスや目標理解、個別化された会話を提供します。オンラインの健康情報はしばしば混乱を招き、個々の文脈に合った情報を見つけるのが難しいため、AIがこの情報をよりアクセスしやすく、個別化する可能性があります。従来のAIツールは受動的な「質問応答者」として機能することが多いですが、医療専門家のように、ユーザーのニーズを理解し、適切な情報を提供するためには、明確化の質問を積極的に行うことが重要です。研究では、163人の参加者を対象にした4つの混合手法のユーザー体験研究を通じて、AIエージェントがユーザーのニーズに対してより有用で関連性のある情報を提供できることが示されました。 • ユーザーが健康情報を見つける際の課題を解決するためのAIエージェントの設計 • AIエージェントが明確化の質問を積極的に行うことで、ユーザーのニーズをより良く理解できる • 163人の参加者を対象にした研究で、AIエージェントの有用性が向上したことを確認 • 従来のAIツールは受動的であり、医療専門家のような対話が必要 • ユーザーが健康に関する懸念を表現するのが難しいことが明らかになった • 明確化の質問がユーザーに自信を与え、より関連性のある文脈を提供する手助けをする
AfriMed-QA: Benchmarking large language models for global health
AfriMed-QAは、アフリカの健康に関する質問応答タスクのために開発された大規模なベンチマークデータセットであり、アフリカ各国の組織と協力して作成されました。このデータセットは、医療関連の質問に対する大規模言語モデル（LLM）の評価に使用され、約15,000の臨床的に多様な質問と回答、4,000以上の専門的な選択問題、1,200以上のオープンエンドの短答問題、10,000の消費者からの質問を含んでいます。LLMは、これらのデータセットに対する応答を人間の専門家の回答と比較し、評価されました。AfriMed-QAは、アフリカの医療における公平で効果的なLLMの開発を目指しており、地域特有の医療知識を反映した多様なベンチマークデータセットの必要性を強調しています。 • アフリカの健康に関する質問応答タスクのためのベンチマークデータセット • 約15,000の臨床的に多様な質問と回答を含む • 4,000以上の専門的な選択問題と1,200以上のオープンエンドの短答問題を収録 • 地域特有の医療知識を反映したデータセットの必要性 • LLMの応答を人間の専門家の回答と比較して評価 • データセットはオープンソースでコミュニティに提供されている
Time series foundation models can be few-shot learners
本記事では、時系列予測のための新しいアプローチを提案しています。このアプローチは、時系列ファウンデーションモデルを継続的に再訓練し、推論時にコンテキストの例から学習できるようにするものです。従来の方法では、各タスクに特化したモデルを構築する必要がありましたが、提案されたモデル「TimesFM」は、ゼロショット学習を用いてタスク特化の訓練なしで正確な予測を行うことができます。新たに導入された「In-Context Fine-Tuning」では、少数の例から学習する能力を持つモデルに変革され、ユーザーによる追加の複雑な訓練なしで、監視付きファインチューニングと同等の性能を発揮します。モデルは、異なるデータセットを混同しないように、学習可能な「共通セパレータトークン」を使用して、過去の例からのパターンを学び、現在の予測に応用します。 • 時系列予測の重要性と従来のモデル構築の課題を解決するアプローチを提案 • 新しいモデル「TimesFM」はゼロショット学習を用いており、タスク特化の訓練なしで予測が可能 • 「In-Context Fine-Tuning」により、少数の例から学習する能力を持つモデルに進化 • ユーザーによる追加の訓練なしで、監視付きファインチューニングと同等の性能を実現 • モデルは、異なるデータセットを混同しないために「共通セパレータトークン」を使用している
Deep researcher with test-time diffusion
本記事では、Test-Time Diffusion Deep Researcher（TTD-DR）というフレームワークを紹介しています。TTD-DRは、Deep Researchエージェントを用いて、高品質な情報を取得しながら自身の草稿を作成・修正する手法です。このアプローチにより、長文の研究報告書作成や複雑な推論タスクにおいて新たな最先端の成果を達成しました。TTD-DRは、研究報告書の執筆を拡散プロセスとしてモデル化し、初期の雑な草稿を高品質な最終版に徐々に洗練させることを目指しています。具体的には、自己進化によるコンポーネントごとの最適化と、情報取得を用いたデノイジングによる報告書レベルの改良を行います。これにより、TTD-DRは報告書作成プロセスをより一貫性のあるものにし、各サイクルで報告書を改善することが可能です。 • TTD-DRは、Deep Researchエージェントを用いて草稿を作成・修正するフレームワークである。 • このアプローチは、長文の研究報告書作成や複雑な推論タスクで新たな最先端の成果を達成した。 • TTD-DRは、研究報告書の執筆を拡散プロセスとしてモデル化している。 • 自己進化によるコンポーネントごとの最適化と、情報取得を用いたデノイジングによる報告書レベルの改良を行う。 • このプロセスにより、報告書作成がより一貫性のあるものとなり、各サイクルで改善される。
Making LLMs more accurate by using all of their layers
この記事では、SLED（Self Logits Evolution Decoding）という新しいデコーディング戦略を紹介しています。この手法は、LLM（大規模言語モデル）の出力をモデルの内在的な知識と整合させることで、外部データや追加のファインチューニングなしに精度を向上させることを目的としています。LLMは時折、事実に基づかない主張を行う「幻覚」問題を抱えており、これは不完全または偏ったトレーニングデータや、あいまいな質問などが原因です。SLEDは、LLMのすべての層を使用してテキストを生成し、最終層だけに依存せずに出力を調整します。実験の結果、SLEDはさまざまなタスクやベンチマークで事実の正確性を一貫して改善することが示されました。さらに、他の事実性デコーディング手法と柔軟に統合できることも確認されています。 • LLMの幻覚問題を解決するための新しいデコーディング手法SLEDを提案 • SLEDは外部データやファインチューニングを必要とせず、モデルの内在的知識に基づいて出力を調整 • LLMのすべての層を使用してテキストを生成し、最終層だけに依存しない • 実験により、SLEDがさまざまなタスクで事実の正確性を向上させることが確認された • SLEDは他の事実性デコーディング手法と統合可能で、モデルの幻覚をさらに減少させることができる
Learn Your Way: Reimagining textbooks with generative AI
この記事では、教育における生成AI（GenAI）を活用した新しい教科書の再構想について述べています。Googleの研究チームは、学習者が自分の学習体験を形作ることができるように、さまざまな形式や個別化された例を自動生成する方法を探求しています。新しいインタラクティブな体験「Learn Your Way」がGoogle Labsで提供されており、これにより学習者は多様な形式で教材を探索できるようになります。研究によると、「Learn Your Way」を使用した学生は、標準的なデジタルリーダーを使用した学生よりも保持テストで11ポイント高いスコアを記録しました。この記事では、学習体験を向上させるための二つの主要な柱、すなわち多様なコンテンツ表現の生成と個別化の基礎的なステップについて説明しています。 • 生成AIを用いて教科書の代替表現や個別化された例を自動生成する方法を探求している。 • 新しいインタラクティブ体験「Learn Your Way」がGoogle Labsで提供されている。 • 「Learn Your Way」を使用した学生は、標準的なデジタルリーダーを使用した学生よりも保持テストで11ポイント高いスコアを記録した。 • 学習者が選択できる多様な形式やモダリティを提供し、学習体験を強化する。 • 個別化された学習体験を提供するために、学習者の属性に応じて教育コンテンツを適応させる。
VaultGemma: The world's most capable differentially private LLM
VaultGemmaは、差分プライバシーを用いてゼロからトレーニングされた最も能力の高い言語モデルです。AIが私たちの生活にますます統合される中、プライバシーを中心に構築することが重要です。差分プライバシーは、記憶を防ぐために調整されたノイズを追加することで、数学的に堅牢な解決策を提供しますが、LLMに適用する際にはトレードオフが生じます。これにより、トレーニングの安定性が低下し、バッチサイズと計算コストが大幅に増加します。新しい研究「差分プライバシー言語モデルのスケーリング法則」では、これらの複雑さを正確にモデル化する法則を確立しました。VaultGemmaは、1Bパラメータを持つオープンモデルで、Hugging FaceとKaggleで重みを公開し、プライベートAIの次世代開発を促進します。 • VaultGemmaは差分プライバシーを用いてトレーニングされた最も能力の高いLLMである。 • 差分プライバシーは、記憶を防ぐためにノイズを追加することでプライバシーを保護する。 • LLMにおける差分プライバシーの適用にはトレードオフがあり、トレーニングの安定性が低下する。 • 新しい研究により、計算、プライバシー、データの予算に基づく最適なトレーニング構成を導き出すことができる。 • VaultGemmaは1Bパラメータを持ち、Hugging FaceとKaggleで重みが公開されている。
Speculative cascades — A hybrid approach for smarter, faster LLM inference
この記事では、「スペキュレイティブカスケード」という新しいアプローチを紹介し、LLM（大規模言語モデル）の効率と計算コストを改善する方法を提案しています。この手法は、標準的なカスケードとスペキュレイティブデコーディングを組み合わせたもので、LLMの応答生成プロセスを迅速化し、コストを削減することを目指しています。カスケードは、小型の高速モデルを使用して、より大きく高価なモデルにタスクを渡すかどうかを判断することで、効率的なリソース配分を実現します。一方、スペキュレイティブデコーディングは、より小型のモデルが未来のトークンを予測し、それを大きなモデルで検証することで、応答生成の速度を向上させます。スペキュレイティブカスケードは、これらの手法の利点を組み合わせ、コストと品質のトレードオフを改善し、さまざまな言語タスクにおいて優れた結果を示しました。 • LLMの応答生成の効率とコストを改善する新しいアプローチ「スペキュレイティブカスケード」を提案 • カスケードは小型モデルを使用してコストを削減し、大型モデルにタスクを渡すか判断する • スペキュレイティブデコーディングは小型モデルが未来のトークンを予測し、大型モデルで検証する • スペキュレイティブカスケードは、コストと品質のトレードオフを改善し、より良い結果を提供 • GemmaとT5モデルを使用した実験で、標準的なカスケードやスペキュレイティブデコーディングと比較して優れた結果を示した
Smarter nucleic acid design with NucleoBench and AdaBeam
本記事では、NucleoBenchとAdaBeamという新しいアルゴリズムを用いた核酸配列設計のためのオープンソースソフトウェアベンチマークについて説明しています。核酸の設計は、特定の治療特性を持つDNAやRNAの配列を見つけることが重要であり、特にCRISPR遺伝子治療やmRNAワクチンの開発において重要です。NucleoBenchは、16の異なる生物学的課題に対して40万回以上の実験を行い、異なるアルゴリズムの性能を評価するための標準化されたフレームワークを提供します。これにより、AdaBeamというハイブリッド設計アルゴリズムが開発され、既存の手法よりも11のタスクで優れた性能を示しました。AdaBeamは、AIを活用して最適な配列を生成するための新しいアプローチを提供し、今後の生物学におけるAIの発展に寄与することが期待されています。 • 核酸配列設計の重要性と課題を説明 • NucleoBenchは、異なるアルゴリズムの性能を比較するための標準化されたベンチマーク • AdaBeamは、既存の手法よりも11のタスクで優れた性能を示す • AIを活用して最適な配列を生成する新しいアプローチを提供 • 400,000回以上の実験を通じて得られた洞察を基に開発された
Accelerating scientific discovery with AI-powered empirical software
この記事では、AIを活用した新しいシステムが科学者のために経験的ソフトウェアを作成する手助けをすることを紹介しています。このシステムは、明確に定義された問題と評価手段を入力として受け取り、コードの最適化を行う研究エンジンとして機能します。具体的には、遺伝学、公衆衛生、地理空間分析、神経科学、時系列予測、数値解析の6つの異なる分野において、専門家レベルのパフォーマンスを達成しています。従来のソフトウェアとは異なり、経験的ソフトウェアは事前に定義された品質スコアを最大化することを目的としており、スコア可能なタスクに対して効果的に対応します。システムは、プログラムの再現、最適化、既知の手法の再結合を通じて新しい研究アイデアを生成し、木構造探索を用いてソフトウェア候補を評価します。これにより、探索時間を数ヶ月から数日または数時間に短縮し、高品質な解決策を迅速に特定することが可能になります。 • AIシステムは科学者が経験的ソフトウェアを作成するのを支援する。 • システムは明確に定義された問題と評価手段を入力として受け取る。 • 遺伝学、公衆衛生、地理空間分析など6つの分野で専門家レベルのパフォーマンスを達成。 • 経験的ソフトウェアは事前に定義された品質スコアを最大化することを目的としている。 • システムはプログラムの再現、最適化、再結合を通じて新しい研究アイデアを生成。 • 木構造探索を用いてソフトウェア候補を評価し、探索時間を短縮。