Desenvolupament del sistema de transmissió en directe d’IOS (principi)

4. Una arquitectura d'aplicacions de transmissió en directe completa (3)

5. Punts tècnics d'una aplicació completa d'emissió en directe (4)

3. Comprendre el contingut multimèdia en temps real (per a la transmissió en directe es requereix un mitjà de transmissió en temps real)
Desenvolupament de suports de transmissió: la capa de xarxa (socket o st) s’encarrega de la transmissió, la capa de protocol (rtmp o hls) s’encarrega de l’empaquetament de la xarxa, la capa d’encapsulació (flv, ts) s’encarrega de l’encapsulament de dades del còdec i La capa de codificació (h.264 i AAC) és la responsable de la compressió d’àudio i de la imatge.
Fotograma: cada fotograma representa una imatge fixa
GOP: grup d'imatges (Grup d'imatges), un GOP és un grup d'imatges contínues, cada imatge és un marc, un GOP és una col·lecció de molts marcs
Les dades en viu són en realitat un conjunt d’imatges, inclosos fotogrames I, fotogrames P i fotogrames B. Quan l'usuari els vegi per primera vegada, buscarà els fotogrames I i el reproductor anirà al servidor per trobar els fotogrames I més propers i els retornarà a l'usuari. Per tant, la memòria cau de GOP augmenta la latència d’extrem a extrem perquè ha d’obtenir el fotograma I més proper. Com més gran sigui la longitud de la memòria cau de GOP, millor serà la qualitat de la imatge
Velocitat de bits: la quantitat de dades que es mostren per segon després de comprimir la imatge.
Velocitat de fotogrames: el nombre d'imatges mostrades per segon. Afecta la suavitat de la imatge i és directament proporcional a la suavitat de la imatge: com més gran sigui la freqüència de fotogrames, més suau serà la imatge; com més baixa sigui la freqüència d’enquadraments, més esborra la imatge.
A causa de l'estructura fisiològica especial de l'ull humà, si la velocitat de fotogrames de la imatge que es visualitza és superior a 16, es considerarà coherent. Aquest fenomen s’anomena persistència de la visió. I quan la velocitat de fotogrames assoleix un cert valor, si torna a augmentar, no és fàcil que l’ull humà percebi un augment significatiu de la fluïdesa.
Resolució: (rectangular) la longitud i amplada de la imatge, és a dir, la mida de la imatge
Dades per segon abans de la compressió: resolució X de velocitat de fotogrames (la unitat hauria de ser de diversos bytes)
Ràtio de compressió: quantitat de dades per segon / velocitat de bits abans de la compressió (per a la mateixa font de vídeo i amb el mateix algorisme de codificació de vídeo, llavors: com més alta sigui la relació de compressió, pitjor serà la qualitat de la imatge).
Format de fitxer de vídeo: el sufix del fitxer, com ara .wmv, .mov, .mp4, .mp3, .avi,
Ús principal, segons el format de fitxer, el sistema determinarà automàticament quin programari s’obrirà,
Nota: Modifiqueu el format del fitxer a voluntat, no tindrà un gran impacte en el propi fitxer, com ara canviar avi a mp4, el fitxer encara és avi.
Format d’encapsulació de vídeo: un contenidor per emmagatzemar informació de vídeo. L’encapsulació de transmissió pot incloure TS, FLV, etc., l’encapsulació indexada inclou MP4, MOV, AVI, etc.,
Funció principal: un fitxer de vídeo sovint conté imatges i àudio, a més d’alguna informació de configuració (com l’associació d’imatges i àudio, com descodificar-les, etc.): aquests continguts s’han d’organitzar i empaquetar d’acord amb determinades regles.
Nota: trobareu que el format d’empaquetament és el mateix que el format de fitxer, perquè el sufix del format de fitxer de vídeo general utilitza el nom del format d’empaquetament de vídeo corresponent, de manera que el format de fitxer de vídeo és el format d’empaquetament de vídeo.