Last updated: 2025/09/03 11:01
Train and deploy models on Amazon SageMaker HyperPod using the new HyperPod CLI and SDK
In this post, we demonstrate how to use the new Amazon SageMaker HyperPod CLI and SDK to streamline the process of training and deploying large AI models through practical examples of distributed training using Fully Sharded Data Parallel (FSDP) and model deployment for inference. The tools provide simplified workflows through straightforward commands for common tasks, while offering flexible development options through the SDK for more complex requirements, along with comprehensive observability features and production-ready deployment capabilities.
Build a serverless Amazon Bedrock batch job orchestration workflow using AWS Step Functions
In this post, we introduce a flexible and scalable solution that simplifies the batch inference workflow. This solution provides a highly scalable approach to managing your FM batch inference needs, such as generating embeddings for millions of documents or running custom evaluation or completion tasks with large datasets.
LangChain & LangGraph 1.0 alpha releases
Today we are announcing alpha releases of v1.0 for langgraph and langchain, in both Python and JS. LangGraph is a low-level agent orchestration framework, giving developers durable execution and fine-grained control to run complex agentic systems in production. LangChain helps developers ship AI features fast with standardized model abstractions
Natural language-based database analytics with Amazon Nova
In this post, we explore how natural language database analytics can revolutionize the way organizations interact with their structured data through the power of large language model (LLM) agents. Natural language interfaces to databases have long been a goal in data management. Agents enhance database analytics by breaking down complex queries into explicit, verifiable reasoning steps and enabling self-correction through validation loops that can catch errors, analyze failures, and refine queries until they accurately match user intent and schema requirements.
Deploy Amazon Bedrock Knowledge Bases using Terraform for RAG-based generative AI applications
In this post, we demonstrated how to automate the deployment of Amazon Knowledge Bases for RAG applications using Terraform.
Document intelligence evolved: Building and evaluating KIE solutions that scale
In this blog post, we demonstrate an end-to-end approach for building and evaluating a KIE solution using Amazon Nova models available through Amazon Bedrock. This end-to-end approach encompasses three critical phases: data readiness (understanding and preparing your documents), solution development (implementing extraction logic with appropriate models), and performance measurement (evaluating accuracy, efficiency, and cost-effectiveness). We illustrate this comprehensive approach using the FATURA dataset—a collection of diverse invoice documents that serves as a representative proxy for real-world enterprise data.
Announcing the new cluster creation experience for Amazon SageMaker HyperPod
With the new cluster creation experience, you can create your SageMaker HyperPod clusters, including the required prerequisite AWS resources, in one click, with prescriptive default values automatically applied. In this post, we explore the new cluster creation experience for Amazon SageMaker HyperPod.
Vijaye Raji to become CTO of Applications with acquisition of Statsig
この記事では、最新のAI技術を活用した新しい開発ツールについて説明しています。このツールは、開発者がコードを書く際にAIの支援を受けることができるもので、特に生成AIを利用してコードの自動生成や補完を行います。具体的には、開発者が入力したコメントやコードの一部を基に、AIが適切なコードを提案する機能があります。また、ツールは多くのプログラミング言語に対応しており、特にJavaScriptやPythonでの使用が推奨されています。これにより、開発者は生産性を向上させ、エラーを減少させることが期待されます。さらに、ツールの導入は簡単で、既存の開発環境にスムーズに統合できる点も強調されています。 • AIを活用したコード自動生成ツールの紹介 • 開発者が入力したコメントに基づいてコードを提案 • JavaScriptやPythonなど多くの言語に対応 • 生産性向上とエラー削減が期待される • 既存の開発環境に簡単に統合可能
Building more helpful ChatGPT experiences for everyone
Routing sensitive conversations to reasoning models and rolling out Parental Controls within the next month.
Learn what makes Pixel 10’s camera tech and AI features so special.
To kick off the second episode in Season 8 of the Made by Google podcast, host Rachid Finge asks Pixel Product Manager Stephanie Scott to describe the Pixel 10 phones in…
Detect Amazon Bedrock misconfigurations with Datadog Cloud Security
We’re excited to announce new security capabilities in Datadog Cloud Security that can help you detect and remediate Amazon Bedrock misconfigurations before they become security incidents. This integration helps organizations embed robust security controls and secure their use of the powerful capabilities of Amazon Bedrock by offering three critical advantages: holistic AI security by integrating AI security into your broader cloud security strategy, real-time risk detection through identifying potential AI-related security issues as they emerge, and simplified compliance to help meet evolving AI regulations with pre-built detections.
Set up custom domain names for Amazon Bedrock AgentCore Runtime agents
In this post, we show you how to create custom domain names for your Amazon Bedrock AgentCore Runtime agent endpoints using CloudFront as a reverse proxy. This solution provides several key benefits: simplified integration for development teams, custom domains that align with your organization, cleaner infrastructure abstraction, and straightforward maintenance when endpoints need updates.
Introducing auto scaling on Amazon SageMaker HyperPod
In this post, we announce that Amazon SageMaker HyperPod now supports managed node automatic scaling with Karpenter, enabling efficient scaling of SageMaker HyperPod clusters to meet inference and training demands. We dive into the benefits of Karpenter and provide details on enabling and configuring Karpenter in SageMaker HyperPod EKS clusters.
Meet Boti: The AI assistant transforming how the citizens of Buenos Aires access government information with Amazon Bedrock
This post describes the agentic AI assistant built by the Government of the City of Buenos Aires and the GenAIIC to respond to citizens’ questions about government procedures. The solution consists of two primary components: an input guardrail system that helps prevent the system from responding to harmful user queries and a government procedures agent that retrieves relevant information and generates responses.
Empowering air quality research with secure, ML-driven predictive analytics
In this post, we provide a data imputation solution using Amazon SageMaker AI, AWS Lambda, and AWS Step Functions. This solution is designed for environmental analysts, public health officials, and business intelligence professionals who need reliable PM2.5 data for trend analysis, reporting, and decision-making. We sourced our sample training dataset from openAFRICA. Our solution predicts PM2.5 values using time-series forecasting.
How Amazon Finance built an AI assistant using Amazon Bedrock and Amazon Kendra to support analysts for data discovery and business insights
The Amazon Finance technical team develops and manages comprehensive technology solutions that power financial decision-making and operational efficiency while standardizing across Amazon’s global operations. In this post, we explain how the team conceptualized and implemented a solution to these business challenges by harnessing the power of generative AI using Amazon Bedrock and intelligent search with Amazon Kendra.
Introducing gpt-realtime and Realtime API updates
We’re releasing a more advanced speech-to-speech model and new API capabilities including MCP server support, image input, and SIP phone calling support.
Supporting nonprofit and community innovation
$50M People-First AI Fund opens for applications Sept 8–Oct 8, 2025.
Build Your Own AI Data Analyst
Our #analytics Slack channel looks completely different than it did a year ago. Like most companies, we used to struggle with analytics. Even seemingly simple questions like "Why is enterprise plan revenue spiking for this cohort?" led to ping chains of doom. Getting answers often took days or weeks. Now, it takes minutes. What changed? We trained our own 24/7 on-demand data scientist.
The core KPIs of LLM performance (and how to track them)
Track the most important LLM metrics: traffic, tokens, cost, latency, and errors. Learn how to set up dashboards and alerts with Sentry.
How Google’s AI can help transform health professions education
この記事では、GoogleのAIモデルが医療教育においてどのように役立つかを探求しています。特に、医療専門職の教育におけるAIの活用が、2023年までに1100万人以上の医療従事者が不足するという予測に対処する手段として注目されています。2つの研究が紹介されており、1つ目は医療学生とAIチューターを用いた臨床推論のケーススタディで、AIツールが学習者に適応し、建設的なフィードバックを提供する能力が評価されています。2つ目は、LearnLMというGeminiベースのモデルが医療教育シナリオでの効果を定量的に評価したもので、医療教育者から高い評価を得ています。これらの研究は、AIが個別化された学習経路を拡張し、能力に基づくアプローチを補完する可能性を示しています。 • 医療専門職の教育におけるAIの活用が、医療従事者不足の問題に対処する手段として注目されている。 • AIツールは学習者に適応し、建設的なフィードバックを提供する能力が求められている。 • LearnLMはGeminiベースのモデルで、医療教育シナリオにおいて高い評価を得ている。 • 医療学習者のニーズを理解するために、UXリサーチと共同設計ワークショップが実施された。 • AIチューターは、臨床推論を支援するために設計され、学習者の個別の学習スタイルに適応することが期待されている。
How Google is investing in Virginia to accelerate innovation for the U.S.
Google is investing an additional $9 billion in Virginia through 2026 in cloud and AI infrastructure. As we expand our local presence, including a new data center in Che…
5 ways to use Copilot and AI tools to spark curiosity this school year
Discover ways to use Copilot Chat and AI tools for success this school year—support learning outcomes and streamline your daily tasks.
Mercury foundation models from Inception Labs are now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
In this post, we announce that Mercury and Mercury Coder foundation models from Inception Labs are now available through Amazon Bedrock Marketplace and Amazon SageMaker JumpStart. We demonstrate how to deploy these ultra-fast diffusion-based language models that can generate up to 1,100 tokens per second on NVIDIA H100 GPUs, and showcase their capabilities in code generation and tool use scenarios.
Agent Factory: Top 5 agent observability best practices for reliable AI
Find out why observability is essential for delivering AI that is effective, transparent, safe, and aligned with organizational values.
Collective alignment: public input on our Model Spec
We surveyed over 1,000 people worldwide on how our models should behave and compared their views to our Model Spec. We found they largely agree with the Spec, and we adopted changes from the disagreements.
Build Slack agents with @vercel/slack-bolt
Deploy your Slack agent to Vercel's AI Cloud using @vercel/slack-bolt to take advantage of AI Gateway, Fluid compute, and more.
OpenAI and Anthropic share findings from a joint safety evaluation
OpenAI and Anthropic share findings from a first-of-its-kind joint safety evaluation, testing each other’s models for misalignment, instruction following, hallucinations, jailbreaking, and more—highlighting progress, challenges, and the value of cross-lab collaboration.
A Primer on LLM Post-Training
この記事では、大規模言語モデル（LLM）のポストトレーニングについて解説しています。ポストトレーニングは、モデルが人間の好む方法で応答し、推論する能力を教える重要なプロセスです。これは、ユーザーとの会話を行うための基本的なルールをモデルに教えるもので、事前トレーニングとは異なり、構造化されていないデータを使用して次の単語を予測するだけではありません。ポストトレーニングでは、システムプロンプトや監視付きファインチューニングを通じて、モデルに優先される基本ルールを課すことができます。また、ポストトレーニングのデータフォーマットについても説明されており、ユーザーとの対話がどのように行われるかが示されています。 • ポストトレーニングは、LLMが人間の好む応答をするための重要なプロセスである。 • ポストトレーニングは、ユーザーとの会話における基本的なルールをモデルに教える。 • 事前トレーニングは次の単語を予測するだけで、構造化されていないデータを使用する。 • ポストトレーニングでは、システムプロンプトや監視付きファインチューニングを使用して基本ルールを課す。 • ポストトレーニングのデータフォーマットにより、ユーザーとの対話が可能になる。
Learn how Amazon Health Services improved discovery in Amazon search using AWS ML and gen AI
In this post, we show you how Amazon Health Services (AHS) solved discoverability challenges on Amazon.com search using AWS services such as Amazon SageMaker, Amazon Bedrock, and Amazon EMR. By combining machine learning (ML), natural language processing, and vector search capabilities, we improved our ability to connect customers with relevant healthcare offerings.
Tips for getting the best image generation and editing in the Gemini app
Here are some tips for writing more effective prompts for image generation and editing in Gemini.
New AI-powered live translation and language learning tools in Google Translate
Google Translate is using AI to make live translation and language learning even more helpful.
Transforming scientific discovery with Microsoft Azure and NVIDIA
Microsoft Azure and NVIDIA bring high-performance computing to science, enabling faster simulations and deeper insights. Learn more.
Image editing in Gemini just got a major upgrade
Transform images in amazing new ways with updated native image editing in the Gemini app.
A scalable framework for evaluating health language models
本記事では、健康分野における言語モデルの評価のための新しい適応型評価フレームワークを提案しています。従来の評価方法は人間の専門家に依存しており、コストが高く、労力がかかり、スケーラブルではありません。提案されたフレームワークは、複雑な評価質問を単純な二項応答（はい/いいえ）に分解することで、評価の一貫性と効率を向上させることを目的としています。具体的には、適応型精密ブールルブリックを導入し、健康データを考慮した評価を行います。この方法は、メタボリックヘルスの領域で検証され、ユーザーの健康情報に基づくパーソナライズされた応答の精度を高めることが期待されています。 • 健康分野における言語モデルの評価は高コストで労力がかかる。 • 新しい適応型評価フレームワークを提案し、評価の効率と一貫性を向上させる。 • 複雑な評価質問を単純な二項応答に分解することで、評価の精度を高める。 • 適応型精密ブールルブリックを導入し、健康データを考慮した評価を行う。 • メタボリックヘルスの領域での検証を行い、パーソナライズされた応答の精度向上を目指す。
Helping people when they need it most
How we think about safety for users experiencing mental or emotional distress, the limits of today’s systems, and the work underway to refine them.
Announcing Mastra's improved agent orchestration with AI SDK v5 support
Mastra now controls the agent loop and tool calling with increased orchestration capabilities—while maintaining backward compatibility with AI SDK v4 and v5.
VS Code Dev Days – Join an event near you to learn about AI-assisted development
Join a VS Code Dev Days event to learn about GitHub Copilot in VS Code
NotebookLM's Video Overviews are now available in 80 languages
Learn more about updates to NotebookLM’s Audio and Video Overview tools.
FYAI: Explore the Microsoft AI for Good Lab with Juan M. Lavista Ferres
Juan M. Lavista Ferres leads Microsoft’s AI for Good Lab, using AI and global partnerships to solve urgent societal challenges. Learn more.
Announcing the OpenAI Learning Accelerator
OpenAI announces the launch of OpenAI Learning Accelerator, an initiative that aims to bring advanced AI to India’s educators and millions of learners nationwide through accelerated AI research, training, and deployment.
AI breakthroughs are transforming industries, from healthcare to finance
Remarks from Ruth Porat, President and Chief Investment Officer, Alphabet and Google at the Jackson Hole Economic Symposium.
Enhance Geospatial Analysis and GIS Workflows with Amazon Bedrock Capabilities
Applying emerging technologies to the geospatial domain offers a unique opportunity to create transformative user experiences and intuitive workstreams for users and organizations to deliver on their missions and responsibilities. In this post, we explore how you can integrate existing systems with Amazon Bedrock to create new workflows to unlock efficiencies insights. This integration can benefit technical, nontechnical, and leadership roles alike.
Beyond the basics: A comprehensive foundation model selection framework for generative AI
As the model landscape expands, organizations face complex scenarios when selecting the right foundation model for their applications. In this blog post we present a systematic evaluation methodology for Amazon Bedrock users, combining theoretical frameworks with practical implementation strategies that empower data scientists and machine learning (ML) engineers to make optimal model selections.
Accelerate intelligent document processing with generative AI on AWS
In this post, we introduce our open source GenAI IDP Accelerator—a tested solution that we use to help customers across industries address their document processing challenges. Automated document processing workflows accurately extract structured information from documents, reducing manual effort. We will show you how this ready-to-deploy solution can help you build those workflows with generative AI on AWS in days instead of months.
Amazon SageMaker HyperPod enhances ML infrastructure with scalability and customizability
In this post, we introduced three features in SageMaker HyperPod that enhance scalability and customizability for ML infrastructure. Continuous provisioning offers flexible resource provisioning to help you start training and deploying your models faster and manage your cluster more efficiently. With custom AMIs, you can align your ML environments with organizational security standards and software requirements.
DRAMA Model Inference Efficiency Boosted by 1.7x-2.3x
DRAMAモデルの推論効率が1.7倍から2.3倍向上したことが報告されており、特に可変長シーケンスにおいてLLMベースのエンコーダーとしての生産準備が整った。DRAMAは、プルーニングされたLLaMAバックボーンを活用した密な検索モデルであり、さまざまなバージョンで良好なパフォーマンスを示している。特にDRAMA-baseは、コンパクトなサイズにもかかわらず、英語および多言語の検索タスクで強力なパフォーマンスを発揮する。しかし、実装にかかる高コストが普及の障壁となっていた。これを解決するために、ネストされたテンソル（NJT）を使用してモデルを最適化し、推論効率を大幅に改善した。NJTは、可変長シーケンスデータを効率的に処理するためのPyTorchのサブクラスであり、パディングの無駄を避けることができる。 • DRAMAモデルの推論効率が1.7倍から2.3倍向上した。 • NJT（ネストされたジャグドテンソル）を使用してモデルを最適化した。 • DRAMAはLLaMAバックボーンを活用した密な検索モデルである。 • DRAMA-baseはコンパクトなサイズでありながら、英語および多言語の検索タスクで強力なパフォーマンスを示す。 • NJTは可変長シーケンスデータを効率的に処理し、パディングの無駄を避ける。
Accelerating life sciences research
OpenAI and Retro Biosciences achieve 50x increase in expressing stem cell reprogramming markers.
Fine-tune OpenAI GPT-OSS models using Amazon SageMaker HyperPod recipes
This post is the second part of the GPT-OSS series focusing on model customization with Amazon SageMaker AI. In Part 1, we demonstrated fine-tuning GPT-OSS models using open source Hugging Face libraries with SageMaker training jobs, which supports distributed multi-GPU and multi-node configurations, so you can spin up high-performance clusters on demand. In this post, […]
Inline code nodes now supported in Amazon Bedrock Flows in public preview
We are excited to announce the public preview of support for inline code nodes in Amazon Bedrock Flows. With this powerful new capability, you can write Python scripts directly within your workflow, alleviating the need for separate AWS Lambda functions for simple logic. This feature streamlines preprocessing and postprocessing tasks (like data normalization and response formatting), simplifying generative AI application development and making it more accessible across organizations.
Accelerate enterprise AI implementations with Amazon Q Business
Amazon Q Business offers AWS customers a scalable and comprehensive solution for enhancing business processes across their organization. By carefully evaluating your use cases, following implementation best practices, and using the architectural guidance provided in this post, you can deploy Amazon Q Business to transform your enterprise productivity. The key to success lies in starting small, proving value quickly, and scaling systematically across your organization.
Speed up delivery of ML workloads using Code Editor in Amazon SageMaker Unified Studio
In this post, we walk through how you can use the new Code Editor and multiple spaces support in SageMaker Unified Studio. The sample solution shows how to develop an ML pipeline that automates the typical end-to-end ML activities to build, train, evaluate, and (optionally) deploy an ML model.
From massive models to mobile magic: The tech behind YouTube real-time generative AI effects
この記事では、YouTubeがモバイルデバイス上でリアルタイムの生成AIエフェクトを提供するための技術について詳述しています。大規模な生成モデルの能力を小型化し、特定のタスクに特化したモデルを作成することで、計算制限を克服しつつユーザーのアイデンティティを保つ方法を説明しています。具体的には、データのキュレーション、トレーニング、デバイス上のセットアップを含むパイプラインを構築し、20以上のリアルタイムエフェクトをYouTube Shortsのクリエイター向けに展開しました。高品質なデータセットを使用し、知識蒸留の手法を用いて、教師モデルから学生モデルへと効率的に学習させるプロセスを採用しています。最終的に、モバイルデバイスで動作する小型で高速なモデルを設計し、リアルタイムでの映像変換を実現しています。 • YouTubeはモバイルデバイスでリアルタイムの生成AIエフェクトを提供する技術を開発した。 • 大規模モデルの能力を小型化し、特定のタスクに特化したモデルを作成することで計算制限を克服した。 • 高品質なデータセットを使用し、性別、年齢、肌色の多様性を考慮したデータを構築した。 • 知識蒸留を用いて、教師モデルから学生モデルへと効率的に学習させる手法を採用した。 • モバイルデバイス向けに設計された小型で高速なUNetベースのモデルを使用している。
How Infosys Topaz leverages Amazon Bedrock to transform technical help desk operations
In this blog, we examine the use case of a large energy supplier whose technical help desk agents answer customer calls and support field agents. We use Amazon Bedrock along with capabilities from Infosys Topaz™ to build a generative AI application that can reduce call handling times, automate tasks, and improve the overall quality of technical support.
Microsoft is a Leader in the 2025 Gartner® Magic Quadrant™ for Cloud-Native Application Platforms
We’re proud to announce that Microsoft has been named a Leader in the 2025 Gartner® Magic Quadrant™ for Cloud-Native Application Platforms for a second year in a row, and the furthest to the right in Completeness of Vision. Learn more.
AI Gateway: Production-ready reliability for your AI apps
AI Gateway, now generally available, ensures availability when a provider fails, avoiding low rate limits and providing consistent reliability for AI workloads.
AI Gateway is now generally available
AI Gateway is now generally available, providing a single interface to access hundreds of AI models with transparent pricing and built-in observability.
AI Mode in Search gets new agentic features and expands globally
AI Mode in Google Search is expanding to more regions and adding more features.
Evaluating RAG, aka Optimizing the Optimization
RAG isn’t foolproof. Explore common hallucinations, evaluation metrics, and how to improve RAG accuracy in n8n.
Scaling domain expertise in complex, regulated domains
Blue J scaled its AI-powered tax research system to three countries and more than 3,000 firms thanks to focus, domain depth, and the right OpenAI model.
12 Best Autonomous AI Agents – 2025’s Top Picks
Tired of doing repetitive tasks? These 12 AI agents handle complex workflows independently while you focus on the fun stuff. Plus n8n tutorials for ultimate customization!
Mastra Changelog 2025-08-21
New streamVNext and generateVNext methods with AI SDK v5 support, output processors, and more.
Hear how a decade-long bet on AI and hardware led to the new Pixel 10.
Ever wonder what it takes to build a phone a decade in the making?In the first episode of Season 8 Made by Google podcast, host Rachid Finge sits down with Venkat Rapaka…
Create personalized products and marketing campaigns using Amazon Nova in Amazon Bedrock
Built using Amazon Nova in Amazon Bedrock, The Fragrance Lab represents a comprehensive end-to-end application that illustrates the transformative power of generative AI in retail, consumer goods, advertising, and marketing. In this post, we explore the development of The Fragrance Lab. Our vision was to craft a unique blend of physical and digital experiences that would celebrate creativity, advertising, and consumer goods while capturing the spirit of the French Riviera.
Tyson Foods elevates customer search experience with an AI-powered conversational assistant
In this post, we explore how Tyson Foods collaborated with the AWS Generative AI Innovation Center to revolutionize their customer interaction through an intuitive AI assistant integrated into their website. The AI assistant was built using Amazon Bedrock,
Enhance AI agents using predictive ML models with Amazon SageMaker AI and Model Context Protocol (MCP)
In this post, we demonstrate how to enhance AI agents’ capabilities by integrating predictive ML models using Amazon SageMaker AI and the MCP. By using the open source Strands Agents SDK and the flexible deployment options of SageMaker AI, developers can create sophisticated AI applications that combine conversational AI with powerful predictive analytics capabilities.
Securing private data at scale with differentially private partition selection
本記事では、ユーザープライバシーを保護するための新しいアルゴリズムを提案し、差分プライバシーに基づくパーティション選択の最先端を改善する方法を紹介しています。大規模なユーザーデータセットはAIや機械学習モデルの進展に不可欠ですが、データプライバシーのリスクも伴います。差分プライバシーを適用することで、個々のデータが特定のアイテムに寄与したかどうかを知られないようにしつつ、意味のあるアイテムのサブセットを安全に共有することが可能です。特に、並列アルゴリズムを用いることで、数百億のアイテムを含むデータセットを効率的に処理し、プライバシーを確保しながらもデータの有用性を損なわないことができます。最近の研究では、ICML2025で発表された「スケーラブルなプライベートパーティション選択に関する適応重み付け」を通じて、最適なプライバシーと有用性のトレードオフを実現する効率的なアルゴリズムを紹介しています。 • ユーザープライバシーを保護するための新しいアルゴリズムを提案 • 差分プライバシーに基づくパーティション選択の改善 • 大規模データセットのプライバシーリスクに対処 • 並列アルゴリズムを用いて数百億のアイテムを効率的に処理 • プライバシーを確保しつつデータの有用性を維持 • 最適なプライバシーと有用性のトレードオフを実現 • GitHubでのオープンソース化を通じて研究コミュニティの協力を促進
ZenFlow: Stall-Free Offloading Engine for LLM Training
ZenFlowは、2025年夏に導入されたDeepSpeedの新しい拡張機能で、大規模言語モデル（LLM）のトレーニング用に設計されたスタールフリーオフロードエンジンです。オフロードは、増大するLLMサイズによるGPUメモリ圧力を軽減するための一般的な手法ですが、従来のオフロードフレームワークはCPUとGPUの性能差により、GPUのスタールが発生する問題があります。ZenFlowは、重要度に基づくパイプライニングを用いてGPUとCPUの更新を分離し、CPUの作業とPCIe転送をGPU計算と完全に重ね合わせることで、85%以上のスタール削減と最大5倍のスピードアップを実現します。これにより、オフロードのメモリ利点を享受しつつ、遅いハードウェアによるトレーニング速度の低下を防ぎます。ZenFlowは、即時にGPU更新される重要な勾配を優先し、残りは非同期でCPUにオフロードすることで、スタールを排除し、シングルGPUおよびマルチGPU環境でのハードウェア利用率を高めます。 • ZenFlowは、DeepSpeedの新しいオフロードエンジンで、LLMトレーニングのスタールを排除することを目的としている。 • 重要度に基づくパイプライニングを使用して、GPUとCPUの更新を分離し、CPU作業とPCIe転送をGPU計算と重ね合わせる。 • 85%以上のスタール削減と最大5倍のスピードアップを実現し、トレーニング速度を向上させる。 • 即時にGPU更新される重要な勾配を優先し、低優先度の勾配は非同期でCPUにオフロードする。 • モデルの精度を維持し、DeepSpeedとのシームレスな統合を実現。
‘It’s going to be a big deal’: The NFL and Microsoft expand their partnership and introduce sideline technology using AI innovation
The NFL and Microsoft announced a multi-year strategic partnership extension to help usher in a new era of AI innovation throughout the league.
Mixi reimagines communication with ChatGPT
Discover how MIXI deployed ChatGPT Enterprise in just 45 days, and scaled company-wide adoption.
9 ways AI makes Pixel 10 our most helpful phone yet
From smart organization to helpful reminders across apps, here are ways to try AI on Pixel 10 phones.
AI in Education Report: Insights to support teaching and learning
Read the 2025 AI in Education Report from Microsoft for insights on learning, teaching, workforce readiness, and institutional innovation.
Stephen Curry is bringing his elite athlete insights to Google products
Learn more about Google’s partnership with NBA player Stephen Curry.
<script type="text/llms.txt">
llms.txt is an emerging standard for making content such as docs available for direct consumption by AIs. We’re proposing a convention to include such content directly in HTML responses.
How SoftBank is restoring Japan's white-collar productivity using Mastra
SoftBank's Satto Workspace platform, built with Mastra, transforms document creation from hours to minutes, with the goal of addressing Japan's 25-year white-collar productivity decline.
Simplify access control and auditing for Amazon SageMaker Studio using trusted identity propagation
In this post, we explore how to enable and use trusted identity propagation in Amazon SageMaker Studio, which allows organizations to simplify access management by granting permissions to existing AWS IAM Identity Center identities. The solution demonstrates how to implement fine-grained access controls based on a physical user's identity, maintain detailed audit logs across supported AWS services, and support long-running user background sessions for training jobs.
Benchmarking document information localization with Amazon Nova
This post demonstrates how to use foundation models (FMs) in Amazon Bedrock, specifically Amazon Nova Pro, to achieve high-accuracy document field localization while dramatically simplifying implementation. We show how these models can precisely locate and interpret document fields with minimal frontend effort, reducing processing errors and manual intervention.
How Infosys built a generative AI solution to process oil and gas drilling data with Amazon Bedrock
We built an advanced RAG solution using Amazon Bedrock leveraging Infosys Topaz™ AI capabilities, tailored for the oil and gas sector. This solution excels in handling multimodal data sources, seamlessly processing text, diagrams, and numerical data while maintaining context and relationships between different data elements. In this post, we provide insights on the solution and walk you through different approaches and architecture patterns explored, like different chunking, multi-vector retrieval, and hybrid search during the development.
Unlocking the potential of manufacturing with cloud modernization
Uncover how manufacturers use AI and cloud to optimize operations, accelerate R&D, and deliver real business value. Learn more.
Streamline employee training with an intelligent chatbot powered by Amazon Q Business
In this post, we explore how to design and implement custom plugins for Amazon Q Business to create an intelligent chatbot that streamlines employee training by retrieving answers from training materials. The solution implements secure API access using Amazon Cognito for user authentication and authorization, processes multiple document formats, and includes features like RAG-enhanced responses and email escalation capabilities through custom plugins.
Generate Images with Claude and Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
MASTRA.BUILD Templates Hackathon Winners & Community Templates Library
Celebrating the winners of our MASTRA.BUILD templates hackathon and launching our new community templates library
Create a travel planning agentic workflow with Amazon Nova
In this post, we explore how to build a travel planning solution using AI agents. The agent uses Amazon Nova, which offers an optimal balance of performance and cost compared to other commercial LLMs. By combining accurate but cost-efficient Amazon Nova models with LangGraph orchestration capabilities, we create a practical travel assistant that can handle complex planning tasks while keeping operational costs manageable for production deployments.
Accelerating MoE’s with a Triton Persistent Cache-Aware Grouped GEMM Kernel
この記事では、Mixture-of-Experts（MoE）モデルのトレーニングと推論を行うための最適化されたTriton BF16 Grouped GEMMカーネルについて説明しています。Grouped GEMMは、入力テンソルの複数のスライスに対して独立したGEMMを単一のカーネル呼び出しで適用します。従来のPyTorch実装では、これらのGEMMはグループごとにforループで実行されていましたが、提案されたカーネルはNVIDIA H100 GPU上でDeepSeekv3のトレーニング時に最大2.62倍の速度向上を実現します。GEMMはLLMワークロードにおいて基本的な演算であり、MoEモデルではトークンが異なる専門家に動的にルーティングされるため、多くの独立したGEMMが発生します。Grouped GEMMは、これらの小さなGEMMを一つのカーネル呼び出しで実行することで、起動オーバーヘッドを削減し、GPUの利用効率を向上させます。 • MoEモデルのトレーニングと推論を最適化するためのTriton BF16 Grouped GEMMカーネルを提案 • Grouped GEMMは複数のスライスに対して独立したGEMMを適用し、従来のforループ実装よりも効率的 • NVIDIA H100 GPU上で最大2.62倍の速度向上を実現 • GEMMはLLMワークロードにおいて重要な演算であり、効率がモデルの速度に影響を与える • Persistent Kernel Designを用いて、スレッドブロックを「生かしたまま」にして計算を行うことで、起動オーバーヘッドを削減し、キャッシュの再利用を改善
14 ways Googlers use AI to work smarter
See how Googlers are using tools like Gemini and Imagen to save time, spark new ideas and build more helpful products.
MCP for Research: How to Connect AI to Research Tools
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Q&A with DoorDash’s CPO, Mariana Garavaglia
A conversation with Mariana Garavaglia, Chief People Officer, DoorDash.
Introducing Amazon Bedrock AgentCore Gateway: Transforming enterprise AI agent tool development
In this post, we discuss Amazon Bedrock AgentCore Gateway, a fully managed service that revolutionizes how enterprises connect AI agents with tools and services by providing a centralized tool server with unified interface for agent-tool communication. The service offers key capabilities including Security Guard, Translation, Composition, Target extensibility, Infrastructure Manager, and Semantic Tool Selection, while implementing sophisticated dual-sided security architecture for both inbound and outbound connections.
Build a scalable containerized web application on AWS using the MERN stack with Amazon Q Developer – Part 1
In a traditional SDLC, a lot of time is spent in the different phases researching approaches that can deliver on requirements: iterating over design changes, writing, testing and reviewing code, and configuring infrastructure. In this post, you learned about the experience and saw productivity gains you can realize by using Amazon Q Developer as a coding assistant to build a scalable MERN stack web application on AWS.
Optimizing Salesforce’s model endpoints with Amazon SageMaker AI inference components
In this post, we share how the Salesforce AI Platform team optimized GPU utilization, improved resource efficiency and achieved cost savings using Amazon SageMaker AI, specifically inference components.
Building a RAG chat-based assistant on Amazon EKS Auto Mode and NVIDIA NIMs
In this post, we demonstrate the implementation of a practical RAG chat-based assistant using a comprehensive stack of modern technologies. The solution uses NVIDIA NIMs for both LLM inference and text embedding services, with the NIM Operator handling their deployment and management. The architecture incorporates Amazon OpenSearch Serverless to store and query high-dimensional vector embeddings for similarity search.
Introducing Amazon Bedrock AgentCore Identity: Securing agentic AI at scale
In this post, we explore Amazon Bedrock AgentCore Identity, a comprehensive identity and access management service purpose-built for AI agents that enables secure access to AWS resources and third-party tools. The service provides robust identity management features including agent identity directory, agent authorizer, resource credential provider, and resource token vault to help organizations deploy AI agents securely at scale.
Beyond billion-parameter burdens: Unlocking data synthesis with a conditional generator
この記事では、プライバシーを保護した合成データ生成のための新しいアルゴリズムCTCL（Data Synthesis with ConTrollability and CLustering）を提案しています。このアルゴリズムは、リソースが制約されたAIアプリケーションでも利用可能で、ビリオン規模の大規模言語モデル（LLM）を微調整することなく、トピック情報に基づいて合成データを生成します。CTCLは、140百万パラメータの軽量モデルを使用し、プライベートドメインのトピック分布に合った合成データを生成します。従来のAug-PEアルゴリズムと異なり、追加のプライバシーコストなしで無限の合成データサンプルを生成できる点が特徴です。CTCLは多様なデータセットで評価され、特に強いプライバシー保証の下でベースラインを一貫して上回る性能を示しました。 • プライバシーを保護した合成データ生成の課題を解決する新しいアルゴリズムCTCLを提案 • CTCLは140百万パラメータの軽量モデルを使用し、リソース制約のあるアプリケーションでも実用的 • トピック情報に基づいて合成データを生成し、プライベートドメインのトピック分布にマッチさせる • 従来の方法に比べて追加のプライバシーコストなしで無限の合成データを生成可能 • 多様なデータセットでの評価により、強いプライバシー保証の下での性能向上が確認された
Scalable intelligent document processing using Amazon Bedrock Data Automation
In the blog post Scalable intelligent document processing using Amazon Bedrock, we demonstrated how to build a scalable IDP pipeline using Anthropic foundation models on Amazon Bedrock. Although that approach delivered robust performance, the introduction of Amazon Bedrock Data Automation brings a new level of efficiency and flexibility to IDP solutions. This post explores how Amazon Bedrock Data Automation enhances document processing capabilities and streamlines the automation journey.
Whiteboard to cloud in minutes using Amazon Q, Amazon Bedrock Data Automation, and Model Context Protocol
We’re excited to share the Amazon Bedrock Data Automation Model Context Protocol (MCP) server, for seamless integration between Amazon Q and your enterprise data. In this post, you will learn how to use the Amazon Bedrock Data Automation MCP server to securely integrate with AWS Services, use Bedrock Data Automation operations as callable MCP tools, and build a conversational development experience with Amazon Q.
Bringing agentic Retrieval Augmented Generation to Amazon Q Business
In this blog post, we explore how Amazon Q Business is transforming enterprise data interaction through Agentic Retrieval Augmented Generation (RAG).
Empowering students with disabilities: University Startups’ generative AI solution for personalized student pathways
University Startups, headquartered in Bethesda, MD, was founded in 2020 to empower high school students to expand their education beyond a traditional curriculum. University Startups is focused on special education and related services in school districts throughout the US. In this post, we explain how University Startups uses generative AI technology on AWS to enable students to design a specific plan for their future either in education or the work force.
Introducing Gemma 3 270M: The compact model for hyper-efficient AI
Explore Gemma 3 270M, a compact, energy-efficient AI model for task-specific fine-tuning, offering strong instruction-following and production-ready quantization.
Citations with Amazon Nova understanding models
In this post, we demonstrate how to prompt Amazon Nova understanding models to cite sources in responses. Further, we will also walk through how we can evaluate the responses (and citations) for accuracy.
Flight Deals is our new, AI-powered flight search tool
We’re introducing Flight Deals, a new, AI-powered search tool. Plus, there’s a new way to exclude basic economy on Google Flights.
Mastra Changelog 2025-08-14
This week we've shipped a major RAG enhancement with semantic markdown chunking and updated our A2A implementation to spec v0.3.0.
You built the MCP server. Now track every client, tool, and request with Sentry.
Get full observability into your MCP server with a single line of code. Track usage, debug faster, and catch issues before your users do.
PyTorch Wheel Variants, the Frontier of Python Packaging
この記事では、PyTorchのパッケージングに関する問題と、Wheel Variantsの導入について説明しています。PyTorchは、AI製品の開発と展開において主要な機械学習フレームワークですが、パッケージングの難しさがユーザーにとっての大きな課題となっています。特に、異なるハードウェア向けにコンパイルされたPyTorchのインストール手順は複雑で、多くのステップを要します。これに対処するため、PyTorch 2.8ではWheel Variantsの実験的サポートが開始され、ユーザーのハードウェアに基づいて最適なPyTorchのバリアントを自動的にインストールできる機能が提供されます。この新しいアプローチは、Pythonパッケージングの未来において重要な役割を果たすと期待されています。 • PyTorchのパッケージングは難しく、特に異なるハードウェア向けのインストールが複雑である。 • Wheel Variantsは、ユーザーのハードウェアに基づいて最適なPyTorchのバリアントを自動的にインストールする機能を提供する。 • 現在のインストール手順は多くのステップを要し、ユーザーにとってフラストレーションの原因となっている。 • Wheel Variantsは、特定のハードウェアとソフトウェアのサポートを明示するための新しい方法として期待されている。 • この機能は実験的であり、PEPプロセスを通じて開発が進められている。
Securely launch and scale your agents and tools on Amazon Bedrock AgentCore Runtime
In this post, we explore how Amazon Bedrock AgentCore Runtime simplifies the deployment and management of AI agents.
Google is investing in infrastructure and an AI-ready workforce in Oklahoma.
Google is investing an additional $9 billion in Oklahoma within the next two years in cloud and AI infrastructure. This investment supports the development of a new data…
PwC and AWS Build Responsible AI with Automated Reasoning on Amazon Bedrock
This post presents how AWS and PwC are developing new reasoning checks that combine deep industry expertise with Automated Reasoning checks in Amazon Bedrock Guardrails to support innovation.
How Amazon scaled Rufus by building multi-node inference using AWS Trainium chips and vLLM
In this post, Amazon shares how they developed a multi-node inference solution for Rufus, their generative AI shopping assistant, using Amazon Trainium chips and vLLM to serve large language models at scale. The solution combines a leader/follower orchestration model, hybrid parallelism strategies, and a multi-node inference unit abstraction layer built on Amazon ECS to deploy models across multiple nodes while maintaining high performance and reliability.
Build an intelligent financial analysis agent with LangGraph and Strands Agents
This post describes an approach of combining three powerful technologies to illustrate an architecture that you can adapt and build upon for your specific financial analysis needs: LangGraph for workflow orchestration, Strands Agents for structured reasoning, and Model Context Protocol (MCP) for tool integration.
Amazon Bedrock AgentCore Memory: Building context-aware agents
In this post, we explore Amazon Bedrock AgentCore Memory, a fully managed service that enables AI agents to maintain both immediate and long-term knowledge, transforming one-off conversations into continuous, evolving relationships between users and AI agents. The service eliminates complex memory infrastructure management while providing full control over what AI agents remember, offering powerful capabilities for maintaining both short-term working memory and long-term intelligent memory across sessions.
Build a conversational natural language interface for Amazon Athena queries using Amazon Nova
In this post, we explore an innovative solution that uses Amazon Bedrock Agents, powered by Amazon Nova Lite, to create a conversational interface for Athena queries. We use AWS Cost and Usage Reports (AWS CUR) as an example, but this solution can be adapted for other databases you query using Athena. This approach democratizes data access while preserving the powerful analytical capabilities of Athena, so you can interact with your data using natural language.
Agent Factory: The new era of agentic AI—common use cases and design patterns
Instead of simply delivering information, agents reason, act, and collaborate—bridging the gap between knowledge and outcomes. Learn more about agentic AI in Azure AI Foundry.
How Coxwave delivers GenAI value faster with Vercel
Coxwave's journey to cutting deployment times by 85% and building AI-native products faster with Vercel
PyTorch Day China Recap
2025年6月7日、北京で開催されたPyTorch Day Chinaでは、PyTorch Foundationと北京人工知能アカデミー（BAAI）が共催し、16の講演が行われ、各セッションには平均160人が参加した。PyTorch Foundationのマット・ホワイト氏は、オープンソースAIの推進に対するコミットメントを強調し、設立から2年で30名のメンバーを持つ団体に成長したことを報告した。新たにvLLMとDeepSpeedがFoundationの傘下プロジェクトとして加わり、BAAIのオープンソースプロジェクトFlagGemsもPyTorchエコシステムに参加した。また、PyTorch大使プログラムが開始され、1ヶ月で200件以上の応募があった。Yonghua Lin氏は、さまざまなAIチップ上での大規模モデルの運用について、FlagOSという統一されたオープンソースシステムソフトウェアスタックを紹介し、効率性と互換性に優れた性能を示した。HuggingFaceのTiezhen Wang氏は、700,000以上のPyTorchモデルをホストするHuggingFace Hubの機能を説明し、データセットの視覚化やSQLクエリ機能を提供することを強調した。ByteDanceのYuxuan Tong氏は、エージェントタスク向けのオープンソース大規模LLM強化学習フレームワークverlを紹介し、プログラミングの柔軟性と効率性のバランスを取ることの重要性を述べた。 • PyTorch Day Chinaは2025年6月7日に北京で開催され、16の講演が行われた。 • PyTorch FoundationはオープンソースAIの推進にコミットし、設立から2年で30名のメンバーを持つ団体に成長した。 • 新たにvLLMとDeepSpeedがFoundationの傘下プロジェクトとして加わった。 • BAAIのFlagGemsもPyTorchエコシステムに参加した。 • HuggingFace Hubは700,000以上のPyTorchモデルをホストし、さまざまな機能を提供している。 • verlは大規模LLM強化学習フレームワークで、プログラミングの柔軟性と効率性を両立させる。
How Orange Collective Vibe-Coded Their Own VC Operating System
Dave Yen built an AI-powered CRM for his VC firm, Orange Collective, using Mastra, generating investment memos and portfolio analysis that saves days of work and lets VCs focus on founder relationships.
Train and deploy AI models at trillion-parameter scale with Amazon SageMaker HyperPod support for P6e-GB200 UltraServers
In this post, we review the technical specifications of P6e-GB200 UltraServers, discuss their performance benefits, and highlight key use cases. We then walk though how to purchase UltraServer capacity through flexible training plans and get started using UltraServers with SageMaker HyperPod.
How Indegene’s AI-powered social intelligence for life sciences turns social media conversations into insights
This post explores how Indegene’s Social Intelligence Solution uses advanced AI to help life sciences companies extract valuable insights from digital healthcare conversations. Built on AWS technology, the solution addresses the growing preference of HCPs for digital channels while overcoming the challenges of analyzing complex medical discussions on a scale.
Unlocking enhanced legal document review with Lexbe and Amazon Bedrock
In this post, Lexbe, a legal document review software company, demonstrates how they integrated Amazon Bedrock and other AWS services to transform their document review process, enabling legal professionals to instantly query and extract insights from vast volumes of case documents using generative AI. Through collaboration with AWS, Lexbe achieved significant improvements in recall rates, reaching up to 90% by December 2024, and developed capabilities for broad human-style reporting and deep automated inference across multiple languages.
Automate AIOps with SageMaker Unified Studio Projects, Part 2: Technical implementation
In this post, we focus on implementing this architecture with step-by-step guidance and reference code. We provide a detailed technical walkthrough that addresses the needs of two critical personas in the AI development lifecycle: the administrator who establishes governance and infrastructure through automated templates, and the data scientist who uses SageMaker Unified Studio for model development without managing the underlying infrastructure.
Automate AIOps with Amazon SageMaker Unified Studio projects, Part 1: Solution architecture
This post presents architectural strategies and a scalable framework that helps organizations manage multi-tenant environments, automate consistently, and embed governance controls as they scale their AI initiatives with SageMaker Unified Studio.
Enabling physician-centered oversight for AMIE
この記事では、医師中心の監視を可能にするために設計された診断AI「guardrailed-AMIE（g-AMIE）」について紹介しています。g-AMIEは、個別の医療アドバイスを提供することを禁止するガードレールを持ち、医師がレビューするための要約を生成します。従来のAMIEシステムは、患者訪問のテキストベースのシミュレーションで正確な医療アドバイスを提供できることが示されていますが、個々の患者の診断や治療計画は、ライセンスを持つ医療専門家によるレビューと承認が必要です。g-AMIEは、患者情報を対話形式で収集し、医師がレビューするための情報を生成します。これには、収集した情報の要約、提案された鑑別診断および管理計画、患者へのメッセージの草案が含まれます。g-AMIEのパフォーマンスは、看護師や医師助手と比較され、医師によるレビューの際に好まれる結果が得られました。 • g-AMIEは個別の医療アドバイスを提供せず、医師がレビューするための要約を生成する。 • 患者情報を対話形式で収集し、医師がレビューするための情報を生成する。 • g-AMIEは、提案された鑑別診断や管理計画を含む詳細な医療ノートを作成する。 • g-AMIEのパフォーマンスは、看護師や医師助手と比較して好まれる結果が得られた。 • 医師の監視を可能にするために、特別に設計されたウェブインターフェース「クリニシャンコックピット」を使用する。
MCP Server Builder Drop: July Highlights from San Francisco and New York
Unlock microservices potential with Apollo GraphQL. Seamlessly integrate APIs, manage data, and enhance performance. Explore Apollo's innovative solutions.
TextQuests: How Good are LLMs at Text-Based Video Games?
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Scaling accounting capacity with OpenAI
Built with OpenAI o3, o3-Pro, GPT-4.1, and GPT-5, Basis’ AI agents help accounting firms save up to 30% of their time and expand capacity for advisory and growth.
OpenAI’s letter to Governor Newsom on harmonized regulation
We’ve just sent a letter to Gov. Gavin Newsom calling for California to lead the way in harmonizing state-based AI regulation with national—and, by virtue of US leadership, emerging global—standards.
Hear Google DeepMind CEO Demis Hassabis discuss how world model capabilities are helping AI understand reality.
Google DeepMind CEO Demis Hassabis talks about AI’s momentum, from new models to the Game Arena benchmark.
Demystifying Amazon Bedrock Pricing for a Chatbot Assistant
In this post, we'll look at Amazon Bedrock pricing through the lens of a practical, real-world example: building a customer service chatbot. We'll break down the essential cost components, walk through capacity planning for a mid-sized call center implementation, and provide detailed pricing calculations across different foundation models.
Fine-tune OpenAI GPT-OSS models on Amazon SageMaker AI using Hugging Face libraries
Released on August 5, 2025, OpenAI’s GPT-OSS models, gpt-oss-20b and gpt-oss-120b, are now available on AWS through Amazon SageMaker AI and Amazon Bedrock. In this post, we walk through the process of fine-tuning a GPT-OSS model in a fully managed training environment using SageMaker AI training jobs.
Bringing Generative AI to the Masses with ExecuTorch and KleidiAI
ExecuTorch 0.7はKleidiAIをデフォルトで有効にし、Arm CPU上での自動加速を実現します。これにより、3～5年前のスマートフォンやRaspberry Pi 5を含む数百万の既存デバイスで、Generative AI（GenAI）が高性能で動作可能になります。プライベート音声アシスタントやメッセージ要約、ローカルコード生成AIコパイロットなどのオンデバイスユースケースが、クラウドなしで実現可能です。ArmのSME2発表は、KleidiAIが次世代AIの加速レイヤーとしての役割を強調しています。KleidiAIは、XNNPackやMediaPipe、MNN、ONNX RuntimeなどのエッジAIフレームワークに組み込まれ、開発者によるコード変更なしで大幅な性能向上を実現します。ExecuTorch 0.7ベータ版では、KleidiAIがデフォルトで有効になり、最新のArm CPUアーキテクチャに基づくデバイスや、古い世代のスマートフォンでも自動加速が提供されます。これにより、モデルの起動が速く、レイテンシが低く、メモリフットプリントが小さくなり、統合の障害がなくなります。 • ExecuTorch 0.7がKleidiAIをデフォルトで有効にし、Arm CPU上での自動加速を実現 • Generative AIが数百万の既存デバイスで高性能に動作可能 • プライベート音声アシスタントやメッセージ要約などのオンデバイスユースケースが実現 • KleidiAIがエッジAIフレームワークに組み込まれ、開発者によるコード変更なしで性能向上 • ExecuTorch 0.7ベータ版でKleidiAIがデフォルトで有効になり、自動加速が提供される • モデルの起動が速く、レイテンシが低く、メモリフットプリントが小さくなる
Cursor now supported on Vercel MCP
Connect Cursor to Vercel MCP to manage projects and deployments, analyze logs, search docs, and more
We’re testing a new, AI-powered Google Finance.
Beginning this week, you'll see us testing a new Google Finance, reimagined with AI at its core. Here’s what to expect:Research your finance questions with AI: Now, you …
Introducing Authorization for Apollo MCP Server: Secure AI Access to Your GraphQL APIs
Unlock microservices potential with Apollo GraphQL. Seamlessly integrate APIs, manage data, and enhance performance. Explore Apollo's innovative solutions.
Accelerate ND-Parallel: A Guide to Efficient Multi-GPU Training
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Introducing AI Sheets: a tool to work with datasets using open AI models!
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Mastra Changelog 2025-08-08
Breaking changes to Scorer API, critical fixes for message handling and parallel workflows, plus improvements to memory filtering and type safety across the board. Plus, we're announcing our first ever conference: TypeScript AI
vLLM Beijing Meetup: Advancing Large-scale LLM Deployment
2025年8月2日、Tencentの北京本社で開催されたvLLM Beijing Meetupでは、260人の開発者や業界専門家が集まり、vLLMエコシステムの急成長とその実用的な能力を目の当たりにしました。イベントでは、vLLMのコアチームやTencent、Huawei、Ant Group、ByteDanceなどの企業が、効率性、柔軟性、スケーラビリティに関する最新の実践と進展を共有しました。特に、vLLMの大規模分散推論、マルチモーダルサポート、スケジューリング戦略の改善、拡張性についての発表がありました。また、TencentのChao Zhangは、vLLMを基にしたカスタマイズされたPD（Prefill-Decode）分解フレームワークを紹介し、推論効率を大幅に向上させた事例を示しました。さらに、Ant Groupのエンジニアは、DeepSeekの推論性能を10倍向上させるための最適化戦略について詳しく解説しました。 • 260人の開発者や専門家が集まったvLLM Beijing Meetupの開催 • vLLMの効率性、柔軟性、スケーラビリティに関する最新の実践と進展の共有 • TencentのChao ZhangによるPD分解フレームワークの紹介と推論効率の向上 • vLLM AscendプロジェクトによるAscend AIハードウェアプラットフォームへの適応 • DeepSeekの推論性能を10倍向上させるための最適化戦略の解説
Advancing Low-Bit Operators in PyTorch and ExecuTorch: Dynamic Kernel Selection, KleidiAI, and Quantized Tied Embeddings
この記事では、PyTorchとExecuTorchにおける低ビット演算子の進展について説明しています。主な改善点として、動的カーネル選択、ArmのKleidiAIライブラリとの統合、量子化された結合埋め込みのサポートが挙げられます。これにより、PyTorchでの低ビット推論のパフォーマンスが向上し、特にExecuTorchを使用したデバイス上での効率的な実行が実現されます。KleidiAIカーネルを使用することで、M1 Mac上で373トークン/秒を超える2倍以上のプリフィルパフォーマンスの向上が見られました。動的カーネル選択は、パックされた重みの形式やCPUの機能に基づいて最適なカーネルを自動的に選択します。また、KleidiAIとの統合により、最適化されたマイクロカーネルが利用可能になり、パフォーマンスが向上します。最後に、量子化された結合埋め込みとlm_headカーネルについても言及されており、特に小型モデルにおいて重要な役割を果たしています。 • 低ビット推論のパフォーマンス向上のための3つの主要な改善点がある • 動的カーネル選択により、最適なカーネルが自動的に選ばれる • KleidiAIライブラリとの統合により、Arm CPU向けの最適化されたマイクロカーネルが利用可能 • ExecuTorchを使用することで、M1 Mac上で373トークン/秒を超えるパフォーマンス向上が実現 • 量子化された結合埋め込みは、小型LLMにおいて重要な役割を果たす
Available today: GPT-5 in Microsoft 365 Copilot
Microsoft has launched GPT-5 in Microsoft 365 Copilot and Copilot Studio, featuring a system for more efficient problem-solving.
GPT-5 in Azure AI Foundry: The future of AI apps and agents starts here
Microsoft is announcing the general availability of OpenAI’s new flagship, GPT-5, in Azure AI Foundry. Learn more.
The DIVA logistics agent, powered by Amazon Bedrock
In this post, we discuss how DTDC and ShellKode used Amazon Bedrock to build DIVA 2.0, a generative AI-powered logistics agent.
Automate enterprise workflows by integrating Salesforce Agentforce with Amazon Bedrock Agents
This post explores a practical collaboration, integrating Salesforce Agentforce with Amazon Bedrock Agents and Amazon Redshift, to automate enterprise workflows.
The AI model Perch, updated today, uses audio to help protect endangered species.
Our Perch AI model helps conservationists analyze bioacoustic data to protect endangered species like birds and coral reefs.
How AI is helping advance the science of bioacoustics to save endangered species
Our new Perch model helps conservationists analyze audio faster to protect endangered species, from Hawaiian honeycreepers to coral reefs.
Microsoft incorporates OpenAI’s GPT-5 into consumer, developer and enterprise offerings
Microsoftは、OpenAIの最新AIシステムであるGPT-5を、消費者、開発者、企業向けのさまざまな製品に統合しました。GPT-5はAzureでトレーニングされ、ユーザーがタスクに最適なツールを利用できるように設計されています。Microsoft 365 CopilotやMicrosoft Copilotを通じて、ユーザーは複雑なタスクに対処するための新しいAI推論機能を自動的に利用でき、開発者はGitHub CopilotやVisual Studio CodeでGPT-5を使用してコードの作成、テスト、デプロイが可能です。MicrosoftのAI Red Teamは、GPT-5の安全性を確認し、従来のOpenAIモデルよりも強力な安全プロファイルを示しました。これにより、ユーザーは即座にGPT-5の高度な推論能力を利用できるようになります。 • MicrosoftはGPT-5を多様な製品に統合し、推論能力を向上させた。 • Microsoft 365 Copilotは、複雑な質問に対する推論能力が向上し、長い会話を維持できる。 • 開発者はGitHub CopilotやVisual Studio CodeでGPT-5を利用し、長いコーディングタスクを実行できる。 • MicrosoftのAI Red TeamはGPT-5の安全性を確認し、強力な安全プロファイルを示した。 • ユーザーはMicrosoft Copilotを通じてGPT-5を無料で体験できる。
The latest AI news we announced in July
Here are Google’s latest AI updates from July 2025
Embracing AI-powered operations: A maturity path for manufacturers
Discover how manufacturers are embracing AI to boost efficiency, resilience, and innovation with Microsoft’s guidance. Learn more.
How Amazon Bedrock powers next-generation account planning at AWS
In this post, we share how we built Account Plan Pulse, a generative AI tool designed to streamline and enhance the account planning process, using Amazon Bedrock. Pulse reduces review time and provides actionable account plan summaries for ease of collaboration and consumption, helping AWS sales teams better serve our customers.
Vercel collaborates with OpenAI for GPT-5 launch
The GPT-5 family of models released today, are now available through AI Gateway and are in production on our own v0.dev applications. Thanks to OpenAI, Vercel has been testing these models for a few weeks in v0, Next.js, AI SDK, and Vercel Sandbox.
GPT-5 and the new era of work
GPT-5 is OpenAI’s most advanced model—transforming enterprise AI, automation, and workforce productivity in the new era of intelligent work.
Introducing GPT-5 for developers
The best model for coding and agentic tasks.
Achieving 10,000x training data reduction with high-fidelity labels
この記事では、Google Adsのエンジニアリングマネージャーと研究科学者が提案する新しいアクティブラーニング手法について説明しています。この手法は、LLM（大規模言語モデル）のファインチューニングに必要なトレーニングデータを大幅に削減することができ、具体的には100,000から500未満のトレーニング例にまで減少させることが可能です。特に、広告コンテンツの安全性を評価するための高品質なデータを効率的にキュレーションするプロセスが紹介されています。このプロセスでは、初期モデルが広告をラベル付けし、その後、ラベルのクラスタリングを行い、最も情報価値の高い例を特定します。最終的に、専門家によるラベル付けを用いてモデルをファインチューニングし、モデルと人間の専門家との整合性を最大65%向上させることができるとされています。 • 新しいアクティブラーニング手法により、LLMのファインチューニングに必要なトレーニングデータを大幅に削減できる。 • トレーニングデータの量を100,000から500未満に減少させることが可能。 • 広告コンテンツの安全性を評価するための高品質なデータを効率的にキュレーションするプロセスを提案。 • 初期モデルが広告をラベル付けし、ラベルのクラスタリングを行うことで、最も情報価値の高い例を特定。 • 専門家によるラベル付けを用いてモデルをファインチューニングし、モデルと人間の専門家との整合性を最大65%向上。
Vision Language Model Alignment in TRL ⚡️
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Pioneering AI workflows at scale: A deep dive into Asana AI Studio and Amazon Q index collaboration
Today, we’re excited to announce the integration of Asana AI Studio with Amazon Q index, bringing generative AI directly into your daily workflows. In this post, we explore how Asana AI Studio and Amazon Q index transform enterprise efficiency through intelligent workflow automation and enhanced data accessibility.
Insulin resistance prediction from wearables and routine blood biomarkers
この記事では、ウェアラブルデータと日常的な血液検査を活用して、インスリン抵抗性（IR）を効果的に予測する新しい手法を提案しています。この手法は、2型糖尿病のリスクスクリーニングを早期に行うためのスケーラブルでアクセス可能なアプローチを提供します。2型糖尿病は世界中で数億人に影響を及ぼしており、その前兆としてインスリン抵抗性が重要です。従来のIR測定方法は侵襲的で高価なため、早期発見が困難でした。そこで、ウェアラブルデバイスからのデータ（安静時心拍数、歩数、睡眠パターン）と日常的な血液検査（空腹時血糖、脂質パネル）を用いてIRリスクを推定する機械学習モデルを開発しました。このアプローチは、特に肥満や運動不足の高リスク個人において強いパフォーマンスを示しました。また、インスリン抵抗性を理解するためのエージェントも紹介されており、個別の推奨を安全に行う手助けをします。 • インスリン抵抗性（IR）の早期発見が重要であること • 従来のIR測定方法は侵襲的で高価であるため、早期発見が困難 • ウェアラブルデータと日常的な血液検査を用いた新しい予測手法を提案 • 機械学習モデルがIRリスクを推定する能力を持つ • 特に肥満や運動不足の高リスク個人において強いパフォーマンスを示す • インスリン抵抗性を理解するためのエージェントを導入 • この研究は情報提供と研究目的のために設計されている
Responsible AI for the payments industry – Part 1
This post explores the unique challenges facing the payments industry in scaling AI adoption, the regulatory considerations that shape implementation decisions, and practical approaches to applying responsible AI principles. In Part 2, we provide practical implementation strategies to operationalize responsible AI within your payment systems.
Responsible AI for the payments industry – Part 2
In Part 1 of our series, we explored the foundational concepts of responsible AI in the payments industry. In this post, we discuss the practical implementation of responsible AI frameworks.
Process multi-page documents with human review using Amazon Bedrock Data Automation and Amazon SageMaker AI
In this post, we show how to process multi-page documents with a human review loop using Amazon Bedrock Data Automation and Amazon SageMaker AI.
PyTorch 2.8 Release Blog
PyTorch 2.8のリリースが発表され、主な新機能として、第三者のC++/CUDA拡張用の安定したlibtorch ABI、Intel CPU上での高性能な量子化LLM推論、プラットフォーム依存のホイールを公開するためのWheel Variants機能が追加されました。特に、量子化されたLLMの推論はストレージとメモリを節約し、推論のレイテンシを低減します。また、ROCm 7の新しいgfx950アーキテクチャに対する機能サポートや、モデルのコンパイルとエクスポートのための制御フロー演算子も導入されました。PyTorch 2.8は585人の貢献者からの4164コミットで構成されており、コミュニティへの感謝が表明されています。 • 第三者のC++/CUDA拡張用の安定したlibtorch ABIが導入された。 • Intel CPU上での高性能な量子化LLM推論が可能になった。 • Wheel Variants機能により、プラットフォーム依存のホイールを公開できるようになった。 • ROCm 7のgfx950アーキテクチャに対する機能サポートが追加された。 • 制御フロー演算子が導入され、モデルのコンパイルとエクスポートが可能になった。
Introducing Open SWE: An Open-Source Asynchronous Coding Agent
The use of AI in software engineering has evolved over the past two years. It started as autocomplete, then went to a copilot in an IDE, and in the fast few months has evolved to be a long running, more end-to-end agent that run asynchronously in the cloud. We believe
Highly accurate genome polishing with DeepPolisher: Enhancing the foundation of genomic research
DeepPolisherは、ゲノムアセンブリの精度を大幅に向上させる新しい深層学習ツールで、特にヒトパンゲノムリファレンスの改善に寄与しています。ゲノムは塩基（A、T、G、C）で構成されており、DNAシーケンサーはこれを読み取りますが、正確かつ大規模に行うことは困難です。DeepPolisherは、ゲノムアセンブリのエラーを50%削減し、挿入または削除エラー（インデル）を70%削減します。この技術は、遺伝子の特定において重要であり、エラーが多いと診断プロセスで病因変異を見逃す可能性があります。DeepPolisherは、UCサンタクルーズゲノミクス研究所との共同開発により、オープンソースのゲノムアセンブリ手法として提案されています。 • DeepPolisherはゲノムアセンブリの精度を向上させる深層学習ツールである。 • エラーを50%削減し、インデルエラーを70%削減する。 • ヒトパンゲノムリファレンスの改善に寄与している。 • ゲノムの正確なアセンブリは遺伝子やタンパク質の特定に重要である。 • オープンソースの手法として、UCサンタクルーズゲノミクス研究所と共同開発された。
New Gemini app tools to help students learn, understand and study even better
Try these new tools to learn, study and understand complex topics even better.
How Fulton County Schools use Copilot Chat to empower student innovation
Fulton County Schools uses Copilot Chat in the classroom to support learning, reduce tasks, and build career readiness. Learn more.
Introducing Vercel MCP: Connect Vercel to your AI tools
Vercel now has an official hosted MCP server (aka Vercel MCP), which you can use to connect your favorite AI tools, such as Claude or VS Code, directly to Vercel.
Introducing AI Elements: build AI interfaces faster
Focus on your AI’s intelligence, not the UI scaffolding. AI Elements is now available as a new Vercel product to help frontend engineers build AI-driven interfaces in a fraction of the time.
Build an AI assistant using Amazon Q Business with Amazon S3 clickable URLs
In this post, we demonstrate how to build an AI assistant using Amazon Q Business that responds to user requests based on your enterprise documents stored in an S3 bucket, and how the users can use the reference URLs in the AI assistant responses to view or download the referred documents, and verify the AI responses to practice responsible AI.
Meet your new AI coding teammate: Gemini CLI GitHub Actions
Today, we’re introducing Gemini CLI GitHub Actions. It’s a no-cost, powerful AI coding teammate for your repository. It acts both as an autonomous agent for critical rou…
Introducing Scorers in Mastra
We're excited to announce the release of scorers in Mastra, a new way to evaluate and rank the quality of your agent's responses.
Providing ChatGPT to the Entire U.S. Federal Workforce
この記事では、最新のAI技術を活用した新しい開発ツールについて説明しています。このツールは、開発者がコードを書く際にAIの支援を受けることができるもので、特に自然言語処理を用いた機能が強化されています。具体的には、開発者が自然言語で指示を出すと、AIがそれに基づいてコードを生成することが可能です。また、ツールは既存の開発環境に簡単に統合できるよう設計されており、ユーザーは特別な設定を行うことなくすぐに利用を開始できます。これにより、開発の効率が大幅に向上し、エラーの削減にも寄与します。さらに、AIの学習能力により、使用するほどに精度が向上する点も特徴です。 • AI技術を活用した新しい開発ツールの紹介 • 自然言語での指示に基づいてコードを生成する機能 • 既存の開発環境への簡単な統合 • 開発効率の向上とエラー削減 • AIの学習能力による精度向上
GPT OSS models from OpenAI are now available on SageMaker JumpStart
Today, we are excited to announce the availability of Open AI’s new open weight GPT OSS models, gpt-oss-120b and gpt-oss-20b, from OpenAI in Amazon SageMaker JumpStart. With this launch, you can now deploy OpenAI’s newest reasoning models to build, experiment, and responsibly scale your generative AI ideas on AWS. In this post, we demonstrate how to get started with these models on SageMaker JumpStart.
Discover insights from Microsoft Exchange with the Microsoft Exchange connector for Amazon Q Business
Amazon Q Business is a fully managed, generative AI-powered assistant that helps enterprises unlock the value of their data and knowledge. With Amazon Q Business, you can quickly find answers to questions, generate summaries and content, and complete tasks by using the information and expertise stored across your company’s various data sources and enterprise systems. […]
Newsroom
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
OpenAI’s open‑source model: gpt‑oss on Azure AI Foundry and Windows AI Foundry
OpenAI’s gpt‑oss models gives developers and enterprises the ability to run, adapt, and deploy OpenAI models on their own terms. Learn more.
Genie 3: A new frontier for world models
Today we are announcing Genie 3, a general purpose world model that can generate an unprecedented diversity of interactive environments. Given a text prompt, Genie 3 can generate dynamic worlds...
gpt-oss-20b and gpt-oss-120b are now supported in Vercel AI Gateway
You can now access gpt-oss by OpenAI, an open-weight reasoning model designed to push the open model frontier, using Vercel's AI Gateway with no other provider accounts required.
Claude 4.1 Opus is now supported in Vercel AI Gateway
You can now access Claude Opus 4.1, a new model released by Anthropic today, using Vercel's AI Gateway with no other provider accounts required.
Welcome GPT OSS, the new open-source model family from OpenAI!
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Introducing gpt-oss
gpt-oss-120b and gpt-oss-20b push the frontier of open-weight reasoning models
gpt-oss-120b & gpt-oss-20b Model Card
We introduce gpt-oss-120b and gpt-oss-20b, two open-weight reasoning models available under the Apache 2.0 license and our gpt-oss usage policy.
Open Weights and AI for All
AI’s next frontier isn’t just about capability—it’s about who gets to use it. Our mission to put AI in the hands of as many people as possible is what drives us. Today’s release of our most capable open-weights models is a major step forward that makes advanced AI more open, flexible, and accessible worldwide.
Estimating worst case frontier risks of open weight LLMs
In this paper, we study the worst-case frontier risks of releasing gpt-oss. We introduce malicious fine-tuning (MFT), where we attempt to elicit maximum capabilities by fine-tuning gpt-oss to be as capable as possible in two domains: biology and cybersecurity.
How we’re using AI to help track and predict cyclones
We’re partnering with the National Hurricane Center, supporting their forecasts and warnings this cyclone season.
AI judging AI: Scaling unstructured text analysis with Amazon Nova
In this post, we highlight how you can deploy multiple generative AI models in Amazon Bedrock to instruct an LLM model to create thematic summaries of text responses. We then show how to use multiple LLM models as a jury to review these LLM-generated summaries and assign a rating to judge the content alignment between the summary title and summary description.
Building an AI-driven course content generation system using Amazon Bedrock
In this post, we explore each component in detail, along with the technical implementation of the two core modules: course outline generation and course content generation.
How Handmade.com modernizes product image and description handling with Amazon Bedrock and Amazon OpenSearch Service
In this post, we explore how Handmade.com, a leading hand-crafts marketplace, modernized their product description handling by implementing an AI-driven pipeline using Amazon Bedrock and Amazon OpenSearch Service. The solution combines Anthropic's Claude 3.7 Sonnet LLM for generating descriptions, Amazon Titan Text Embeddings V2 for vector embedding, and semantic search capabilities to automate and enhance product descriptions across their catalog of over 60,000 items.
Cost tracking multi-tenant model inference on Amazon Bedrock
In this post, we demonstrate how to track and analyze multi-tenant model inference costs on Amazon Bedrock using the Converse API's requestMetadata parameter. The solution includes an ETL pipeline using AWS Glue and Amazon QuickSight dashboards to visualize usage patterns, token consumption, and cost allocation across different tenants and departments.
Rethinking how we measure AI intelligence
Kaggle Game Arena is a new platform where AI models compete head-to-head in complex strategic games.
Rethinking how we measure AI intelligence
Kaggle Game Arena is a new platform where AI models compete head-to-head in complex strategic games.
v0: vibe coding, securely
Vibe coding makes it possible for anyone to ship a viral app. But every line of AI-generated code is a potential vulnerability. Security cannot be an afterthought, it must be the foundation. Turn ideas into secure apps with v0.
What we’re optimizing ChatGPT for
この記事では、最新のAI技術を活用した新しい開発ツールについて説明しています。このツールは、開発者がコードを書く際にAIの支援を受けることができるもので、特に自然言語処理を用いた機能が強化されています。具体的には、開発者が自然言語で指示を出すと、AIがそれに基づいてコードを生成することが可能です。また、ツールは既存の開発環境に簡単に統合できるよう設計されており、ユーザーは特別な設定を行うことなく利用を開始できます。これにより、開発の効率が大幅に向上し、エラーの削減にも寄与します。さらに、AIの学習能力により、使用するほどに精度が向上する点も特徴です。 • AIを活用した新しい開発ツールの紹介 • 自然言語での指示に基づいてコードを生成する機能 • 既存の開発環境への簡単な統合 • 開発効率の向上とエラー削減 • AIの学習能力による精度向上
Introducing Amazon Bedrock AgentCore Browser Tool
In this post, we introduce the newly announced Amazon Bedrock AgentCore Browser Tool. We explore why organizations need cloud-based browser automation and the limitations it addresses for FMs that require real-time data access. We talk about key use cases and the core capabilities of the AgentCore Browser Tool. We walk through how to get started with the tool.
Introducing the Amazon Bedrock AgentCore Code Interpreter
In this post, we introduce the Amazon Bedrock AgentCore Code Interpreter, a fully managed service that enables AI agents to securely execute code in isolated sandbox environments. We discuss how the AgentCore Code Interpreter helps solve challenges around security, scalability, and infrastructure management when deploying AI agents that need computational capabilities.
Observing and evaluating AI agentic workflows with Strands Agents SDK and Arize AX
In this post, we present how the Arize AX service can trace and evaluate AI agent tasks initiated through Strands Agents, helping validate the correctness and trustworthiness of agentic workflows.
Building AIOps with Amazon Q Developer CLI and MCP Server
In this post, we discuss how to implement a low-code no-code AIOps solution that helps organizations monitor, identify, and troubleshoot operational events while maintaining their security posture. We show how these technologies work together to automate repetitive tasks, streamline incident response, and enhance operational efficiency across your organization.
Containerize legacy Spring Boot application using Amazon Q Developer CLI and MCP server
In this post, you’ll learn how you can use Amazon Q Developer command line interface (CLI) with Model Context Protocol (MCP) servers integration to modernize a legacy Java Spring Boot application running on premises and then migrate it to Amazon Web Services (AWS) by deploying it on Amazon Elastic Kubernetes Service (Amazon EKS).
Try Deep Think in the Gemini app
Deep Think utilizes extended, parallel thinking and novel reinforcement learning techniques for significantly improved problem-solving.
MLE-STAR: A state-of-the-art machine learning engineering agents
MLE-STARは、さまざまなデータモダリティにわたる機械学習タスクを自動化できる最先端の機械学習エンジニアリングエージェントです。従来の機械学習エンジニアは、モデルの構築に多くの反復実験とデータエンジニアリングを必要とし、これが作業の負担となっています。MLE-STARは、ウェブ検索を活用して適切なモデルを見つけ、特定のコードブロックを改善することで、タスクに特化したアプローチを採用します。これにより、Kaggleコンペティションの63%でメダルを獲得し、他の手法を大きく上回る成果を上げました。MLE-STARは、各MLコンポーネントの寄与を評価するアブレーションスタディを実施し、最もパフォーマンスに影響を与えるコードブロックを特定し、反復的に改善を行います。 • MLE-STARは機械学習タスクを自動化するエージェントである。 • 従来の手法は、既存のLLM知識に依存し、特定のアプローチを見逃すことがある。 • MLE-STARはウェブ検索を利用して初期モデルを生成し、特定のコードブロックを改善する。 • アブレーションスタディを通じて、各MLコンポーネントの寄与を評価する。 • Kaggleコンペティションで63%の成功率を誇る。
Figma uses AI to transform digital design
A conversation with David Kossnick, Head of AI Products at Figma.
Introducing AWS Batch Support for Amazon SageMaker Training jobs
AWS Batch now seamlessly integrates with Amazon SageMaker Training jobs. In this post, we discuss the benefits of managing and prioritizing ML training jobs to use hardware efficiently for your business. We also walk you through how to get started using this new capability and share suggested best practices, including the use of SageMaker training plans.
Structured outputs with Amazon Nova: A guide for builders
We launched constrained decoding to provide reliability when using tools for structured outputs. Now, tools can be used with Amazon Nova foundation models (FMs) to extract data based on complex schemas, reducing tool use errors by over 95%. In this post, we explore how you can use Amazon Nova FMs for structured output use cases.
AI agents unifying structured and unstructured data: Transforming support analytics and beyond with Amazon Q Plugins
Learn how to enhance Amazon Q with custom plugins to combine semantic search capabilities with precise analytics for AWS Support data. This solution enables more accurate answers to analytical questions by integrating structured data querying with RAG architecture, allowing teams to transform raw support cases and health events into actionable insights. Discover how this enhanced architecture delivers exact numerical analysis while maintaining natural language interactions for improved operational decision-making.
Amazon Strands Agents SDK: A technical deep dive into agent architectures and observability
In this post, we first introduce the Strands Agents SDK and its core features. Then we explore how it integrates with AWS environments for secure, scalable deployments, and how it provides rich observability for production use. Finally, we discuss practical use cases, and present a step-by-step example to illustrate Strands in action.