microsoft/DeepSpeed
github.com/microsoft/DeepSpeedv0.17.4 Patch Release
DeepSpeedのv0.17.4パッチリリースでは、いくつかの重要な変更が行われました。主な変更点には、バージョン情報の更新、UnboundLocalErrorの修正、TiledFusedLogitsLossの追加、及びそのバグ修正が含まれています。これにより、DeepSpeedの機能が向上し、ユーザーにとっての利便性が増すことが期待されます。新たに貢献した開発者もおり、コミュニティの活性化が見られます。 • DeepSpeedのバージョンがv0.17.4に更新された。 • UnboundLocalErrorの修正が行われた。 • TiledFusedLogitsLossが新たに追加された。 • TiledFusedLogitsLossに関するバグが修正された。 • 新しい貢献者がプロジェクトに参加した。
v0.17.3 Patch Release
DeepSpeedのv0.17.3パッチリリースでは、いくつかのバグ修正と機能改善が行われました。主な変更点には、TiledMLPのバグ修正、torchバージョン依存のコンパイルの有効化、ZeRO Stage 3におけるbucket.elementsのリセット、AllReduceCoalescedHandleの引数の整合性、Communication Loggerの改善が含まれます。また、FA3サポートの追加や、Llama注入ポリシーの新しいtransformersバージョンへの適応も行われました。新しい貢献者も加わり、READMEの更新や不要なテストの削除も実施されています。 • TiledMLPのバグ修正により、バッチサイズが1より大きい場合の動作が改善された。 • torchのバージョンに依存したrecord_moduleとiter_paramsのコンパイルが可能になった。 • ZeRO Stage 3においてbucket.elementsがリセットされるバグが修正された。 • AllReduceCoalescedHandleの引数の整合性が調整された。 • Communication Loggerの改善が行われ、CIジョブの修正も試みられた。 • FA3サポートが追加され、Llama注入ポリシーが新しいtransformersバージョンに適応された。