huggingface/transformers
github.com/huggingface/transformersv4.55.0: New openai GPT OSS model!
OpenAIが新たにリリースしたGPT OSSモデルファミリーは、117Bパラメータの大規模モデル（gpt-oss-120b）と21Bパラメータの小規模モデル（gpt-oss-20b）から構成されており、強力な推論能力と多様な開発者ユースケースに対応しています。両モデルはMixture-of-Experts（MoE）アーキテクチャを採用し、4ビット量子化スキーム（MXFP4）を使用することで、高速な推論を実現しつつリソース使用を抑えています。大規模モデルは単一のH100 GPUに収まり、小規模モデルは16GBのメモリ内で動作可能で、消費者ハードウェアやオンデバイスアプリケーションに最適です。推論実装にはtransformers、vLLM、llama.cpp、ollamaが推奨されており、APIを介した応答が推奨されています。ライセンスはApache 2.0で、補完的な使用ポリシーが適用されます。 • OpenAIが新たにリリースしたGPT OSSモデルファミリーには117Bと21Bの2つのモデルがある。 • 両モデルはMixture-of-Experts（MoE）アーキテクチャを採用し、4ビット量子化スキームを使用している。 • 大規模モデルはH100 GPUに収まり、小規模モデルは16GBのメモリで動作可能。 • 推論実装にはtransformers、vLLM、llama.cpp、ollamaが推奨されている。 • ライセンスはApache 2.0で、補完的な使用ポリシーがある。
Patch release 4.54.1
この記事は、Hugging FaceのTransformersライブラリのパッチリリース4.54.1について説明しています。このリリースでは、いくつかのバグ修正が行われ、特にキャッシュ関連の問題が解決されました。新たに導入されたレイヤードキャッシュに関連する修正や、ハイブリッドモデルの最大キャッシュ長の設定、GPT2のクロスアテンションに関する修正が含まれています。また、キャッシュの継承やデバイス配置に関する問題も修正されました。リリースは急いで行われたため、いくつかのバグが残っていたことが謝罪されています。 • バグ修正が多数行われた • キャッシュ関連の問題が解決された • ハイブリッドモデルの最大キャッシュ長の設定が修正された • GPT2のクロスアテンションに関する問題が修正された • キャッシュの継承やデバイス配置に関する問題が修正された
v4.54.0: Kernels, Transformers Serve, Ernie, Voxtral, LFM2, DeepSeek v2, ModernBERT Decoder...
この記事は、Hugging FaceのTransformersライブラリのバージョン4.54.0のリリースについて説明しています。このリリースでは、トランスフォーマーのパフォーマンス向上に向けた重要な改善が行われ、特に「膨張」と「遅さ」という2つの批判に対処しています。具体的には、標準Llamaモデルのモデリングファイルが500行に削減され、より読みやすくなりました。また、効率的な分散トレーニングの初期ステップが導入され、100Bモデルの読み込みが約3秒で行えるようになりました。新しいモデルとして、BaiduのErnie 4.5と音声入力をサポートするVoxtralが追加され、Voxtralは音声の転写や翻訳、音声理解のタスクを処理できる能力を持っています。 • トランスフォーマーのパフォーマンス向上に向けた改善が行われた • 標準Llamaモデルのモデリングファイルが500行に削減され、読みやすくなった • 効率的な分散トレーニングの初期ステップが導入された • 100Bモデルの読み込みが約3秒で行えるようになった • 新しいモデルErnie 4.5と音声入力をサポートするVoxtralが追加された • Voxtralは音声の転写、翻訳、音声理解のタスクを処理できる
Patch release v4.53.3
この記事は、Hugging FaceのTransformersライブラリのバージョン4.53.3のパッチリリースについて説明しています。このリリースは、オープンテレメトリの修正を含む小規模なパッチであり、リリースの遅延について謝罪が述べられています。具体的には、set_tracer_providerおよびset_meter_providerの呼び出しが削除されたことが記載されています。リリースは2023年7月22日に行われ、これまでに283のコミットがメインブランチに追加されています。 • Hugging FaceのTransformersライブラリのバージョン4.53.3のパッチリリース • オープンテレメトリの修正が含まれている • set_tracer_providerおよびset_meter_providerの呼び出しが削除された • リリースは2023年7月22日に行われた • これまでに283のコミットがメインブランチに追加された
Ernie-4.5 and Ernie-4.5 MoE (based on v4.53.2)
この記事では、Hugging FaceのTransformersライブラリに新たに追加されたErnie-4.5およびそのMoE（Mixture of Experts）バリアントについて説明しています。これらのモデルは、v4.53.2リリースに基づいており、特定のコマンドを使用してインストール可能です。Ernie-4.5は、0.3Bパラメータを持つ基本テキストモデルで、標準のLlamaをコアに使用しています。一方、MoEバリアントは、21Bおよび300Bのパラメータを持つ2つの異なるモデルを提供し、Mixtralに基づく専門家を組み合わせています。使用例として、テキスト生成のためのコードスニペットも提供されており、Hugging Face Hubでの利用が可能です。 • 新たにErnie-4.5とそのMoEバリアントがTransformersライブラリに追加された。 • Ernie-4.5は0.3Bパラメータを持つ基本テキストモデルである。 • MoEバリアントは21Bおよび300Bのパラメータを持つ2つのモデルを提供する。 • これらのモデルは標準のLlamaをコアに使用している。 • インストールは特定のコマンドを使用して行うことができる。 • テキスト生成のための使用例がコードスニペットとして示されている。
ModernBERT Decoder (based on v4.53.2)
この記事では、Hugging FaceのTransformersライブラリに新たに追加されたModernBERT Decoderモデルについて説明しています。このモデルは、v4.53.2リリースに基づいており、自己回帰的なテキスト生成タスクに特化したデコーダーアーキテクチャを持っています。ModernBERT Decoderは、ロタリーポジショナルエンコーディングや、8192トークンまでのシーケンスをサポートするための現代的なアーキテクチャの改善を取り入れています。インストールは、指定されたコマンドを使用して行うことができ、今後のマイナーリリースv4.54.0に含まれる予定です。使用例として、テキスト生成やテキスト分類のためのパイプラインの利用方法が示されています。 • 新しいモデルModernBERT DecoderがTransformersに追加された • ModernBERT Decoderは自己回帰的なテキスト生成タスクに特化している • ロタリーポジショナルエンコーディングを使用し、8192トークンまでのシーケンスをサポート • インストールは特定のコマンドを使用して行う • 今後のリリースv4.54.0に含まれる予定 • テキスト生成やテキスト分類の使用例が提供されている
Patch Release v4.53.2
この記事は、Hugging FaceのTransformersライブラリのバージョン4.53.2のパッチリリースについて説明しています。このリリースには、いくつかのバグ修正が含まれています。具体的には、GLM-4.1Vモデルのファインチューニングとバッチ推論に関するバグの修正、Ascend NPUでのフラッシュアテンション2のエラー修正、GLM4.1vモデルのトレーニング時のエラー修正、ページアテンション生成におけるオフバイワンエラーの修正、smollm3用のトークナイザーマッピングの追加、スライディングウィンドウ機能のリバートと非推奨化、GLM4vのバッチビデオフォワードの修正、マスキングユーティリティにおけるposition_idsのデフォルト値の追加が含まれています。 • GLM-4.1Vモデルのファインチューニングとバッチ推論に関するバグ修正 • Ascend NPUでのフラッシュアテンション2のエラー修正 • GLM4.1vモデルのトレーニング時のエラー修正 • ページアテンション生成におけるオフバイワンエラーの修正 • smollm3用のトークナイザーマッピングの追加 • スライディングウィンドウ機能のリバートと非推奨化 • GLM4vのバッチビデオフォワードの修正 • マスキングユーティリティにおけるposition_idsのデフォルト値の追加