DeepSpeedのv0.18.3パッチリリースでは、いくつかの重要な変更が行われました。主な変更点には、muonオプティマイザのための学習率の分離設定、デバッグユーティリティの強化、PyTorch互換のバックワードAPIの追加、FP8ユニットテストの許容範囲の緩和が含まれます。また、セキュリティ関連のドキュメントがMicrosoftからGitHubの報告に変更され、AutoTPモデルリストにQwen2.5が追加されました。これらの変更は、DeepSpeedのパフォーマンスと使いやすさを向上させることを目的としています。 • muonオプティマイザのための学習率設定の分離が可能に • デバッグユーティリティの強化により、より堅牢な動作が実現 • PyTorch互換のバックワードAPIが追加され、互換性が向上 • FP8ユニットテストの許容範囲が緩和され、テストの柔軟性が向上 • セキュリティドキュメントがMicrosoftからGitHubの報告に変更された • AutoTPモデルリストにQwen2.5が追加された
DeepSpeedのv0.18.2パッチリリースでは、いくつかの重要な変更が行われました。主な更新内容には、0.18.1リリース後のバージョン更新、torchのautocastとZeRO3におけるfp32ウェイトの重複排除、Ulyssesの追加API、可変シーケンス長に関するより直感的なAPIの提供、fused_optimizer.pyにおけるオーバーフロー処理の修正、extra_large_param_to_reduceにおけるcomm_dtypeのバグ修正、UlyssesSPのTiledMLPドキュメントの更新、0次元テンソルスライスのバグ修正、pytorch-profiler.mdドキュメントの誤字修正、READMEのリフレッシュが含まれています。これらの変更は、DeepSpeedのパフォーマンスと使いやすさを向上させることを目的としています。 • v0.18.2リリースでは、0.18.1リリース後のバージョン更新が行われた。 • torchのautocastとZeRO3におけるfp32ウェイトの重複を排除した。 • Ulyssesに追加APIが導入された。 • 可変シーケンス長に関するより直感的なAPIが提供された。 • fused_optimizer.pyにおけるオーバーフロー処理の修正が行われた。 • extra_large_param_to_reduceにおけるcomm_dtypeのバグが修正された。 • UlyssesSPのTiledMLPドキュメントが更新された。 • READMEがリフレッシュされ、誤字が修正された。
DeepSpeedのv0.18.1パッチリリースでは、いくつかの重要な変更が行われました。ZenFlowコードがStage 3に追加され、DeepSpeedZeroOptimizerのサブクラスの初期化に**kwargsが受け入れられるようになりました。また、テンソル学習率のサポートが追加され、INT_MAXを超えるサイズのmulti_tensor_applyでの不正なメモリアクセスが修正されました。さらに、埋め込み層とlm_head層に対するMuonオプティマイザのサポートが削除され、メモリ使用量の報告に関するいくつかの改善が行われました。新たにDataStates-LLMの非同期チェックポイントエンジンのサポートも追加されました。 • ZenFlowコードがStage 3に追加された • DeepSpeedZeroOptimizerのサブクラスの初期化に**kwargsが受け入れられるようになった • テンソル学習率のサポートが追加された • multi_tensor_applyでの不正なメモリアクセスが修正された • 埋め込み層とlm_head層に対するMuonオプティマイザのサポートが削除された • メモリ使用量の報告に関する改善が行われた • DataStates-LLMの非同期チェックポイントエンジンのサポートが追加された
DeepSpeedのバージョン0.18.0がリリースされ、いくつかの重要な変更が行われました。主な更新内容には、DeepCompileの改善、ZeRO-3の強化、ログレベルの設定、fp16オーバーフローのブロードキャスト、アクティベーションサイズの設定可能化、スーパーロードのリリース、ユニバーサルチェックポイントの問題修正などが含まれています。また、DeepCompileに関するバグ修正や、複数のサブグループがある場合のチェックポイントの読み込み問題の解決も行われました。新しい機能や修正により、DeepSpeedのパフォーマンスと使いやすさが向上しています。 • DeepSpeedのバージョン0.18.0がリリースされた。 • DeepCompileのバグ修正や機能改善が行われた。 • ZeRO-3の強化により、より堅牢なallgatherが実現された。 • ログレベルの設定が追加され、デバッグが容易になった。 • fp16オーバーフローのブロードキャスト機能が追加された。 • スーパーロードのリリースにより、メモリ管理が改善された。 • ユニバーサルチェックポイントの読み込み問題が修正された。
DeepSpeedのv0.17.6パッチリリースでは、いくつかの重要な更新が行われました。主な変更点には、DeepSpeedのオフロードとリロード状態のサポート、Muonオプティマイザーの有効化、非ZeROモードの有効化、riscv64 CPUサポートの追加、エラーメッセージの改善、autocastテストの検証の簡素化などが含まれています。また、いくつかのバグ修正も行われ、特にDeepCompile Z1/2の勾配バッファアクセスの修正や、MoEの専門家並列グループサイズの誤用の修正が挙げられます。新しいコントリビューターも数名参加しており、コミュニティの活性化が見られます。 • DeepSpeedのオフロードとリロード状態のサポートが追加された。 • Muonオプティマイザーが有効化された。 • 非ZeROモードが有効化された。 • riscv64 CPUサポートが追加された。 • エラーメッセージの改善とautocastテストの検証の簡素化が行われた。 • DeepCompile Z1/2の勾配バッファアクセスのバグが修正された。 • MoEの専門家並列グループサイズの誤用が修正された。 • 新しいコントリビューターが参加した。
DeepSpeedのv0.17.5パッチリリースでは、いくつかの重要な変更が行われました。主な更新内容には、version.txtの更新、README.mdの修正、DeepSpeedEngineにおけるTP/PP/DPランクのゲッターAPIの追加、Coverityスキャンによって指摘された問題の修正、all-gatherの重複パラメータとデータ型の誤りの修正が含まれています。また、zero offloadチュートリアルに--bind_cores_to_rankオプションが追加され、ZenFlowに関するブログも追加されました。さらに、CPU専用マシンでの事前コンパイルの修正や、PyTorch v2.8に対するDeepCompileの修正も行われています。これらの変更により、DeepSpeedのパフォーマンスと互換性が向上しています。 • DeepSpeedのv0.17.5パッチリリースが行われた。 • version.txtとREADME.mdが更新された。 • DeepSpeedEngineにTP/PP/DPランクのゲッターAPIが追加された。 • Coverityスキャンによる問題が修正された。 • all-gatherの重複パラメータとデータ型の誤りが修正された。 • zero offloadチュートリアルに--bind_cores_to_rankオプションが追加された。 • ZenFlowに関するブログが追加された。 • CPU専用マシンでの事前コンパイルの修正が行われた。
DeepSpeedのv0.17.4パッチリリースでは、いくつかの重要な変更が行われました。主な変更点には、バージョン情報の更新、UnboundLocalErrorの修正、TiledFusedLogitsLossの追加、及びそのバグ修正が含まれています。これにより、DeepSpeedの機能が向上し、ユーザーにとっての利便性が増すことが期待されます。新たに貢献した開発者もおり、コミュニティの活性化が見られます。 • DeepSpeedのバージョンがv0.17.4に更新された。 • UnboundLocalErrorの修正が行われた。 • TiledFusedLogitsLossが新たに追加された。 • TiledFusedLogitsLossに関するバグが修正された。 • 新しい貢献者がプロジェクトに参加した。
DeepSpeedのv0.17.3パッチリリースでは、いくつかのバグ修正と機能改善が行われました。主な変更点には、TiledMLPのバグ修正、torchバージョン依存のコンパイルの有効化、ZeRO Stage 3におけるbucket.elementsのリセット、AllReduceCoalescedHandleの引数の整合性、Communication Loggerの改善が含まれます。また、FA3サポートの追加や、Llama注入ポリシーの新しいtransformersバージョンへの適応も行われました。新しい貢献者も加わり、READMEの更新や不要なテストの削除も実施されています。 • TiledMLPのバグ修正により、バッチサイズが1より大きい場合の動作が改善された。 • torchのバージョンに依存したrecord_moduleとiter_paramsのコンパイルが可能になった。 • ZeRO Stage 3においてbucket.elementsがリセットされるバグが修正された。 • AllReduceCoalescedHandleの引数の整合性が調整された。 • Communication Loggerの改善が行われ、CIジョブの修正も試みられた。 • FA3サポートが追加され、Llama注入ポリシーが新しいtransformersバージョンに適応された。
DeepSpeedのv0.17.2パッチリリースでは、いくつかの重要な修正と改善が行われました。主な変更点には、Arctic Long Sequence Training (ALST)の名称変更、set_start_methodの破損を防ぐ修正、<glog/logging.h>のエラー修正、コンパイル用のパディングユーティリティの改善、404エラーの修正、チュートリアルタイトルの修正、再コンパイルのための実際の入力の復元、WarmupLRの最適化子lrの継承に関する修正、torch.autocastのZeROとの統合、F.interpolateのフロップスプロファイラーサポート、FP8ユニットテストの許容誤差の緩和、DeepCompileのZeROステージ1およびステージ2サポートの追加などが含まれています。これらの変更により、DeepSpeedの機能性と安定性が向上しました。 • Arctic Long Sequence Training (ALST)の名称変更が行われた。 • set_start_methodの破損を防ぐ修正が施された。 • <glog/logging.h>に関するエラーが修正された。 • コンパイル用のパディングユーティリティが改善された。 • 404エラーやチュートリアルタイトルの修正が行われた。 • torch.autocastとZeROの統合が有効化された。 • DeepCompileのZeROステージ1およびステージ2のサポートが追加された。
DeepSpeedのv0.17.1パッチリリースに関する記事です。このリリースでは、いくつかの重要な更新が行われました。具体的には、v0.17.0リリース後のversion.txtの更新、Ulysses Plusドキュメントの改善、config_utils.pyの更新、pytestのバージョンを8.3.5に固定する修正、symint入力に関する問題の修正、fp16オプティマイザのタイマー修正、DeepNVMeの更新、topkgating関数の修正、LoRAのarxiv参照の修正、ZeROのオーバーフロー処理の改善、ドキュメントのレンダリングの修正などが含まれています。また、新しい貢献者も数名参加しています。 • v0.17.0リリース後のversion.txtの更新 • Ulysses Plusドキュメントの改善 • config_utils.pyの更新 • pytestのバージョンを8.3.5に固定する修正 • symint入力に関する問題の修正 • fp16オプティマイザのタイマー修正 • DeepNVMeの更新 • topkgating関数の修正 • LoRAのarxiv参照の修正 • ZeROのオーバーフロー処理の改善 • ドキュメントのレンダリングの修正 • 新しい貢献者の参加
DeepSpeed v0.17.0がリリースされ、いくつかの重要な修正と更新が行われました。主な変更点には、AutoTPのパラメータ収集の修正、ZeRO-OffloadのGPUメモリ使用量の改善、CPUオフロードのための勾配ノルム計算の更新が含まれています。また、CI環境でのbf16の優先設定や、テスト実行時にローカルのDeepSpeedリポジトリを自動的に追加する機能も実装されました。新しいコントリビューターも数名参加し、全体的なパフォーマンスと安定性が向上しています。 • DeepSpeed v0.17.0のリリースに伴う修正と更新が行われた。 • AutoTPのパラメータ収集に関する問題が修正された。 • ZeRO-OffloadのGPUメモリ使用量が改善された。 • CPUオフロードのための勾配ノルム計算が更新された。 • CI環境でbf16を優先する設定が追加された。 • テスト実行時にローカルのDeepSpeedリポジトリを自動的に追加する機能が実装された。 • 新しいコントリビューターが参加し、プロジェクトが活性化している。
DeepSpeedのv0.16.9パッチリリースでは、いくつかの重要な変更が行われました。主な変更点には、0.16.8リリース後のパッチバージョンの更新、冗長なrequires grad falseの削除によるグラフの破損回避、AutoTP用のqwen3メタローディングの追加、コンポーネント全体でのシステム実行可能検出の近代化、NVMeオフロード用のZeROセット/取得APIの有効化、AutoTP用のqwen3moeメタローディングの追加、ライセンスチェックの一時無効化、zero-3でweightがNoneのときのextra_repr_strの修正、DeepSpeed側でのXCCLサポートが含まれています。新しい貢献者も加わり、全体で35のコミットが行われました。 • v0.16.9パッチリリースの主要な変更点が含まれている • 冗長なrequires grad falseの削除によりグラフの破損を回避 • AutoTP用のqwen3メタローディングが追加された • システム実行可能検出が近代化された • NVMeオフロード用のZeROセット/取得APIが有効化された • ライセンスチェックが一時的に無効化された • XCCLのサポートがDeepSpeed側で追加された
DeepSpeedのv0.16.8パッチリリースでは、いくつかの重要な変更が行われました。主な更新内容には、CPUアクセラレーターのfp16データ型サポートの追加、CPU用のPyTorchバージョンを2.7に更新、README.mdの更新、nv_bloat162に関するコンパイルエラーの修正、Makefileの追加によるメンテナンスの容易化、fp8 gemmの修正が含まれています。また、XPUテストに関する問題の修正や、AIOテストの一時的なスキップも行われました。新しい貢献者も数名参加しており、コミュニティの活性化が見られます。 • CPUアクセラレーターのfp16データ型サポートを追加 • CPU用のPyTorchバージョンを2.7に更新 • README.mdを更新 • nv_bloat162に関するコンパイルエラーを修正 • Makefileを追加してメンテナンスを容易にした • fp8 gemmの修正を行った • XPUテストの問題を修正し、AIOテストを一時的にスキップした • 新しい貢献者が参加した
What's Changed Update version.txt after 0.16.6 release by @loadams in #7218 Fix release links by @tjruwase in #7219 Fix pass for z3 and profiler by @tohtana in #7222 Fix build on AMD GPUs (related...
What's Changed Update version.txt after 0.16.5 release by @loadams in #7180 Cross layer overlapping for domino by @hwchen2017 in #7178 async tp allreduce by @inkcherry in #7115 Fix issue #5242 gr...
What's Changed Update version.txt after 0.16.4 release by @loadams in #7063 fix an outdated doc wrt CUDA_VISIBLE_DEVICES by @stas00 in #7058 Tecorigin sdaa accelerator by @siqi654321 in #6903 Hand...