Primer suposem que algú no té cap fonament en àudio i vídeo i que mai no ha après cap coneixement relacionat amb el processament del senyal digital. La base matemàtica és bàsicament a nivell de batxillerat, però coneix el desenvolupament de C / C ++, almenys està familiaritzat amb la compilació i depuració de l’IDE sota una plataforma determinada.
Centreu-vos en els dos projectes de codi obert ffmpeg i webRTC, principalment mirant la part de vídeo de ffmpeg i la part d'àudio de webRTC.
En primer lloc, Comenceu amb la descodificació de vídeo. Aquest és el més senzill. El codi bàsic per trucar a la descodificació de vídeo ffmpeg és de només 100 línies. La descodificació de vídeo només ha d’entendre l’h.264, el 80% + d’escenes tenen aquest format de codificació, entenen els conceptes bàsics H.264 sps pps NAL i altres conceptes de format de fitxer, entenen el principi del format d’imatge YUV i comprenen la conversió de YUV a RGB. , Per tant, podeu fer la representació d'imatges i aconseguir un simple reproductor de vídeo. (Bàsicament a la primera etapa)
A continuació, per obtenir informació sobre la codificació de vídeo, es recomana començar amb x264, una trucada senzilla al codi de codificació x264 és inferior a 100 línies. La codificació és més complicada que la descodificació, ja que la descodificació no necessita configurar cap paràmetre i la codificació té un gran nombre de paràmetres que cal configurar. Al principi, només cal entendre alguns conceptes bàsics, com ara la velocitat de trames, els mètodes habituals de control de flux ABR CRF, GOP, I / B Què vol dir / P Frame respectivament. (Estic familiaritzat amb la codificació X264 de nou)
El còdec de la part d’àudio és similar al del vídeo. A la fase inicial, només cal entendre els dos codificadors EAAC + i Silk, entendre els conceptes de canal de so, freqüència de mostreig, etc., i entendre el format de fitxer Wave. Pot ser un simple reproductor d'àudio. (Feu un reproductor d'àudio)
La part complexa de l'àudio no és el còdec, sinó l'efecte de so. Feu una ullada al mòdul de processament d’àudio a webRTC i enteneu els conceptes següents: denoising NS, cancel·lació de ressò AEC, detecció de silenci VAD, control automàtic de guanys AGC i el webRTC integrat. Tot i que l'algorisme no és el millor, pot resoldre un 90% dels problemes i val la pena aprendre-ho. (Apreneu el processament d'àudio webrtc)
Després d’aprendre això, he de pensar en una pregunta, si vull fer una ruta d’enginyeria o una ruta algorítmica. Si es tracta d’una ruta algorítmica, he d’aprendre matemàtiques. Darrere del processament del senyal digital hi ha un gran nombre de teories matemàtiques bàsiques. Si es tracta d’una ruta d’enginyeria, heu d’aprendre el desenvolupament multiplataforma, aprendre la recopilació, reproducció i processament d’àudio i vídeo en diverses plataformes i aprendre a optimitzar el llenguatge de muntatge en diverses plataformes. (Relacionat amb la plataforma)
L’àudio i el vídeo són un camp molt profund i mai acabareu d’aprendre al llarg de la vida, però aquest camp té l’avantatge que la velocitat d’actualització del coneixement és relativament lenta, que les coses apreses no són fàcils d’eliminar i l’acumulació d’experiència és molt important.v
El nostre altre producte:
