Megjelent a GStreamer 1.28: AMD HIP és Vulkan Video bővítések, gyorsabb Wayland-megjelenítés HDR10/udmabuf útvonallal, automatizáltabb AI-analitika és erősebb streaming/fejlesztői eszköztár

7/10
A kiadás nagy léptékű, sok területet érintő frissítés, amely új hardveres gyorsítási és streaming képességeket is hoz, ezért a váltás kifejezetten ajánlott.

A GStreamer csapata kiadta a multimédiás keretrendszer 1.28-as verzióját, amely a stabil 1.x ágon belüli legnagyobb léptékű funkcióbővítésnek számít. A kiadás egyik hangsúlyos újdonsága a GPU-s gyorsítás kiterjesztése: érkezett egy AMD HIP-re épülő plugin, amely egységesebb modellt határoz meg a GPU-s feldolgozáshoz, és megkönnyítheti, hogy ugyanaz a megközelítés AMD és NVIDIA GPU-val is használható legyen. Ezzel párhuzamosan nagyot lépett előre a Vulkan Video támogatása. A GStreamer 1.28 már AV1 és VP9 dekódolást, H.264 kódolást, valamint 10 bites H.265 feldolgozást is kínál a Vulkannal, ami leginkább friss driverekkel és modernebb hardveres konfigurációkban hozhat előnyt.

Megjelent a GStreamer 1.28: AMD HIP és Vulkan Video bővítések, gyorsabb Wayland-megjelenítés HDR10/udmabuf útvonallal, automatizáltabb AI-analitika és erősebb streaming/fejlesztői eszköztár

HDR10 és udmabuf a Wayland-megjelenítésben, automatizáltabb tensorláncok az AI analitikában

A Wayland-támogatás több területen is fejlődött, és ennek hatása lejátszás közben is érezhető lehet. A waylandsink mostantól a HDR10 metaadatokat is kezeli, a színkezelésnél pedig fejlesztések és kiegészítések érkeztek. Újdonság az udmabufra épülő puffermegosztás, mely kevesebb másolással juttathatja el a képkockákat a megjelenítésig, ami megfelelően támogatott láncban gyorsabb kirajzolást és kisebb memóriaforgalmat eredményezhet.

Az AI- és analitikai funkcióknál az 1.28 inkább egy összefésültebb, automatizálhatóbb megközelítést erősít. A tensorok képességeinek egyeztetése és az egymás után fűzött elemek illesztése több ponton már automatikusan történhet, így kevesebb kézi paraméterezés kell, és a hibás vagy inkompatibilis összeállítások hamarabb, még az indulásnál kiderülhetnek.

Info
A tensor egy többdimenziós adattömb, amiben az AI-modellek bemenetet és kimenetet kezelnek; a tensorlánc pedig az a pipeline-rész, ahol több elem egymás után ilyen tensorokat állít elő, ad át és dolgoz fel.

Ebben a logikában kap szerepet a tensordecodebin is, miközben a Rust-alapú elemek köre is tovább bővült: új komponensek érkeztek objektumfelismeréshez, a követéshez és a kötegelt feldolgozáshoz.

Beszédfeldolgozás, streaming és fejlesztői újdonságok a GStreamer 1.28-ban

A beszédfeldolgozással kapcsolatos képességek bővültek, érkezett egy Deepgram alapú speech-to-text integráció, valamint egy ElevenLabs-os hangklónozásra épülő elem, és olyan kiegészítések is előtérbe kerültek, mint a hangforrás-szétválasztás és a fordítás/szintézis körüli eszköztár bővítése.

Streaming oldalon a kiadás az RTMP-hez H.265-öt és több hangsávos FLV-t is társít, a WebRTC-nél pedig megjelent a renegotiation támogatása és a WHEP jelzéskezelés, miközben a konténerformátumoknál (például MP4, MPEG-TS, Matroska, MXF) több stabilitási és metaadat-kezelési javítást is említenek. Újdonság az is, hogy bekerült egy VMAF elem, amellyel a Netflix által ismertté tett minőségbecslés közvetlenül pipeline-on belül futtatható.

Fejlesztői szemmel a 1.28 új core API-kat, rendezettebb naplózást (GstLogContext), frissebb Python-kötéseket és egy átdolgozott DOT grafnézegetőt is hoz, a build oldalon pedig a csapat a csomagolási/telepítési láncot is fejlesztette.

A GStreamer 1.28-as ciklusa kifejezetten nagy volumenű volt: összesen 3548 commit érkezett, 1765 merge requestet olvasztottak be, és 476 hibajegyet zártak le. A munkában 190-nél is több közreműködő vett részt, és a fejlesztések több mint 35 százaléka a Rust modulokhoz és Rust kódhoz kötődött. A változtatások 5430 fájlt érintettek, 395 856 sort adtak hozzá és 249 844 sort töröltek, ami nettó 146 012 sor növekedést jelent.

További információk az új Gstreamer 1.28 verzióval kapcsolatosan a projekt weboldalán olvashatóak.