El significat de la codificació de vídeo
Gran espai d'emmagatzematge per a dades de vídeo originals; un vídeo de 1080P de 7 s requereix 817 MB
La transmissió de dades de vídeo original ocupa un gran ample de banda i triga 11 minuts a transmetre el vídeo anterior de 7 s amb un ample de banda de 10 Mbps
Després de la codificació i compressió H.264, la mida del vídeo és de només 708 k i l’amplada de banda de 10 Mbps només necessita 500 ms, que poden satisfer les necessitats de transmissió en temps real. Per tant, el vídeo original recollit del sensor d’adquisició de vídeo ha de ser codificat per vídeo.
Fonamental
Llavors, per què es pot codificar un enorme vídeo original en un vídeo molt petit? Quina tecnologia hi ha? Abans de parlar de tecnologia, primer hauríem d’establir el concepte de vídeo que són imatges contínues.
La idea principal és eliminar informació redundant:
Redundància espacial: hi ha una forta correlació entre els píxels adjacents d’una imatge
Redundància temporal: contingut similar entre imatges adjacents en una seqüència de vídeo
Redundància de codificació: els diferents valors de píxels tenen probabilitats diferents
Redundància visual: el sistema visual humà no és sensible a determinats detalls
Redundància del coneixement: l'estructura de la regularitat es pot obtenir a partir de coneixements previs i coneixements previs
El vídeo és essencialment una sèrie d'imatges que es reprodueixen de forma contínua i ràpida, de manera que la manera més senzilla de comprimir un vídeo és comprimir cada fotograma d'imatges. Per exemple, la codificació MJPEG antiga consisteix a comprimir cada fotograma d'imatges del vídeo. Aquest mètode de codificació Només hi ha codificació intra-frame, que utilitza la predicció de mostres espacials per codificar. La metàfora de la imatge consisteix a tractar cada fotograma com una imatge i utilitzar el format de codificació JPEG per comprimir la imatge. Aquest tipus de codificació només té en compte la compressió d'informació redundant en una imatge.
No obstant això, a causa de la correlació temporal entre fotogrames, s'han desenvolupat alguns codificadors avançats que poden utilitzar la codificació entre fotogrames. En poques paraules, algunes àrees del marc es seleccionen mitjançant l'algorisme de cerca i, a continuació, es calcula el marc actual. Es tracta d'una forma de codificació amb la diferència vectorial entre els marcs de referència anteriors i posteriors. A través dels dos fotogrames consecutius següents de la figura 2, podem veure que l’esquiador es mou cap endavant, però de fet l’escena de neu es mou cap enrere i es fa referència al fotograma P Es poden codificar els fotogrames (I o altres fotogrames P), la mida després de la codificació és molt petit i la relació de compressió és molt alta.
Enllaç de referència sobre el marc http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Alguns estudiants poden estar interessats en com van sorgir aquestes dues imatges. Aquí hi ha dues línies d’ordres FFmpeg a assolir. Per obtenir més informació sobre FFmpeg, consulteu els capítols següents:
La primera línia genera un vídeo amb un vector en moviment
La segona línia genera cada fotograma com una imatge
Utilitzeu l'ordre
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
A més de la redundància espacial i la compressió de redundància temporal, hi ha principalment compressió de codificació i compressió visual. El següent és el diagrama de flux principal d’un codificador:
La Figura 3 i la Figura 4 són dos processos. La figura 3 és una codificació entre marcs i la figura 4 és una codificació entre marcs. La diferència principal que es veu a la figura és que el primer pas és diferent. De fet, aquests dos processos també es combinen. En termes generals, I frame i P frame utilitzen codificació intra-frame i codificació inter-frame respectivament.
Selecció del codificador
He ordenat el principi i el procés bàsic del codificador. El codificador ha experimentat dècades de desenvolupament. Ha evolucionat des de només donar suport a la codificació intra-frame fins a la nova generació de codificadors representats per H.265 i VP9 actualment. Actualment s’analitzen alguns codificadors habituals i us portarem a explorar el món dels codificadors.
H.264
introducció
El projecte H.264 / AVC té la intenció de crear un estàndard de vídeo. En comparació amb l’antic estàndard, pot proporcionar vídeo d’alta qualitat amb un ample de banda inferior (és a dir, només la meitat de l’amplada de banda de MPEG-2, H.263 o MPEG-4 Part 2 o menys) sense afegir massa complexitat de disseny. és impossible d’aconseguir o el cost de la implementació és massa alt. Un altre propòsit és proporcionar una flexibilitat suficient per utilitzar-se en diverses aplicacions, xarxes i sistemes, incloses amplades de banda alta i baixa, resolucions de vídeo altes i baixes, difusió, emmagatzematge de DVD, xarxes RTP / IP i sistema de telèfons multimèdia ITU-T.
H.264 / AVC conté una sèrie de noves funcions, cosa que el fa no només més eficient que els codecs anteriors, sinó que també es pot utilitzar en aplicacions de diversos entorns de xarxa. Aquesta base tècnica fa que H.264 es converteixi en el principal còdec utilitzat per empreses de vídeo en línia, inclòs YouTube, però fer-lo servir no és una tasca molt fàcil. En teoria, utilitzar H.264 requereix molts diners. Tarifes de patents.
Llicència de patent
Igual que la primera i la segona part de MPEG-2 i la segona part de MPEG-4, els fabricants de productes i proveïdors de serveis que utilitzen H.264 / AVC han de pagar els drets de llicència de patent als titulars de patents. La principal font d’aquestes llicències de patents és una organització privada anomenada MPEG-LA LLC. Aquesta organització no té res a veure amb l’organització d’estandardització MPEG, però també gestiona el sistema MPEG-2 Part One, Video Two Part i MPEG-4 Part One. Llicències de patents de vídeo en dues parts i altres tecnologies.
Altres llicències de patents s’han d’aplicar a una altra organització privada anomenada VIA Licensing, que també gestiona les llicències de patents per a estàndards de compressió d’àudio com MPEG-2 AAC i MPEG-4 Audio.
Implementació de codi obert de H.264
openh264 és un programa de codificació H.264 de codi obert implementat per Cisco. Tot i que H.264 requereix una taxa de patent elevada, hi ha un límit anual en la taxa de patent. Després que Cisco pagui la quota anual de patent per OpenH264, OpenH264 és de franc gratuït. Feu-lo servir lliurement.
x264 és un programari lliure de codificació de vídeo amb llicència GPL. La funció principal de x264 és realitzar la codificació de vídeo AVC H.264 / MPEG-4, no com a descodificador.
Excloent el problema de costos per comparar:
L’ús de CPU de openh264 és molt inferior al de x264
openh264 només admet perfils de línia de base, x264 admet més perfils
HEVC / H.265
introducció
La codificació de vídeo d'alta eficiència (HEVC) és un estàndard de compressió de vídeo (també anomenat H.265), que es considera el successor de l'estàndard AVU ITU-T H.264 / MPEG-4. El 2004, el grup d’experts en imatges en moviment (MPEG) ISO / IEC i el grup d’experts en codificació de vídeo de l’UIT-T (VCEG) van començar a desenvolupar-se com a ISO / IEC 23008-2 MPEG-H Part 2 o ITU-T H.265. La primera versió de l’estàndard de compressió de vídeo HEVC / H.265 es va acceptar com a estàndard oficial de la Unió Internacional de Telecomunicacions (UIT-T) el 13 d’abril de 2013. Es considera que HEVC no només millora la qualitat del vídeo, sinó que també aconsegueix dos cops la velocitat de compressió de H.264 / MPEG-4 AVC (equivalent a una reducció del 50% en la velocitat de bits amb la mateixa qualitat d’imatge) i pot admetre resolució 4K i fins i tot televisors d’alta definició (UHDTV), la resolució més alta pot arribar a 8192 × 4320 (resolució 8K).
Llicència de patent
HEVC requereix que tots els fabricants de contingut que utilitzin la tecnologia H.265, incloses Apple, YouTube, Netflix, Facebook i Amazon, paguin el 0.5% dels seus ingressos de contingut com a taxa d’ús de la tecnologia. Tot el mercat de mitjans de comunicació en streaming arriba a uns 100 milions de dòlars EUA cada any i, en el creixement, la taxa del 0.5% és sens dubte una comissió enorme. I no han deixat anar els fabricants d'equips, entre els quals els fabricants de televisors han de pagar 1.5 dòlars EUA per unitat i els fabricants de dispositius mòbils 0.8 dòlars EUA per unitat en honoraris de patents. Ni tan sols han deixat anar fabricants com ara reproductors de dispositius Blu-ray, consoles de jocs i gravadors de vídeo, que han de pagar 1.1 dòlars cadascun.
Implementació de codi obert de H.265 / HEVC
libde265 HEVC és proporcionat per l’estructura d’empresa sota la llicència de codi obert GNU Lesser General Public License (LGPL), i els espectadors poden gaudir d’imatges de màxima qualitat a velocitats d’Internet més baixes. En comparació amb els descodificadors anteriors basats en l’estàndard H.264, el descodificador libde265 HEVC pot portar el vostre contingut HD complet fins al doble de públic o reduir l’amplada de banda necessària per a la transmissió en un 50%.
x265 està desenvolupat per MulticoreWare i és de codi obert segons l'acord GPL.
VP8
introducció
VP8 és un format de compressió de vídeo obert que va ser desenvolupat primer per On2 Technologies i després publicat per Google. Al mateix temps, Google també va llançar la biblioteca d'implementació codificada VP8: libvpx, que es va llançar en forma de termes de llicència BSD i, posteriorment, va afegir el dret d'utilitzar la patent. Després d'alguns arguments, l'autorització de VP8 finalment es va confirmar com una autorització de codi obert.
Actualment, els navegadors web que admeten VP8 són Opera, Firefox i Chrome.
Llicència de patent
Al març de 2013, Google va arribar a un acord amb MPEG LA i 11 titulars de patents per permetre a Google obtenir VP8 i el seu VPx anterior i altres codificacions que es puguin infringir a les patents. Al mateix temps, Google també pot tornar a autoritzar de forma gratuïta les patents relacionades als usuaris de VP8. , Aquest acord també és adequat per a la propera generació de codificació VPx. Fins ara, MPEG LA ha renunciat a l'establiment de l'aliança centralitzada de llicències de patents VP8, i els usuaris de VP8 podran decidir utilitzar aquest codi de forma gratuïta sense preocupar-se de possibles drets d'autor per infracció de patents.
Implementació de codi obert de VP8
Libvpx és l'única implementació de codi obert de VP8. Va ser desenvolupat per On2 Technologies. Després que Google el va adquirir, va obrir el seu codi font. La llicència és molt fluixa i es pot utilitzar lliurement.
VP9
introducció
El desenvolupament de VP9 va començar el tercer trimestre del 2011. L'objectiu és reduir la mida del fitxer un 50% en comparació amb la codificació VP8 amb la mateixa qualitat d'imatge. Un altre objectiu és superar la codificació HEVC en eficiència de codificació.
El 13 de desembre de 2012, el navegador Chromium va afegir compatibilitat amb la codificació VP9. El navegador Chrome va començar a admetre la reproducció de vídeo codificat VP9 el 21 de febrer de 2013.
Google va anunciar que completarà el desenvolupament del codi VP9 el 17 de juny de 2013, quan el navegador Chrome guiarà el codi VP9 per defecte. El 18 de març de 2014, Mozilla va afegir suport VP9 al navegador Firefox.
El 3 d'abril de 2015, Google va llançar libvpx1.4.0, que va afegir compatibilitat amb la profunditat de bits de 10 i 12 bits, el mostreig de croma 4: 2: 2 i 4: 4: 4 i la codificació / descodificació multi-nucli VP9.
Llicència de patent
VP9 és un format de codificació de vídeo lliure de drets d’autor en format obert.
Implementació de codi obert de VP9
libvpx és l'única implementació de codi obert de VP9, desenvolupada i mantinguda per Google. Alguns dels codis són compartits per VP8 i VP9, i la resta són les implementacions de còdecs de VP8 i VP9 respectivament.
Comparació de VP9 i H.264 i HEVC
Comparació de HEVC i H.264 a diferents resolucions
En comparació amb H.264 / MPEG-4, la reducció de la taxa de bits mitjana de HEVC és:
Es pot comprovar que la taxa de bits ha caigut en més d’un 60%
HEVC (H.265) té un avantatge més gran en l’estalvi de velocitat de bits per a VP9 i H.264, estalviant un 48.3% i un 75.8% respectivament sota el mateix PSNR
H.264 té un gran avantatge en el temps de codificació. En comparació amb VP9 i HEVC (H.265), HEVC és 6 vegades superior a VP9 i VP9 és gairebé 40 vegades superior a H.264.
