（1）音視頻編碼技術(shù)

通過終端的音視頻捕捉設(shè)備，把音視頻模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號，不管是PC還是3G手機通過捕捉設(shè)備捕捉的聲音和圖像的數(shù)字信號，其冗余性都非常大，為了減少網(wǎng)絡(luò)傳輸?shù)膸?，音視頻都需要經(jīng)過壓縮編碼去除其冗余的數(shù)據(jù)，視頻主要通過空間和時間上的預測編碼去除冗余數(shù)據(jù)，音頻主要通過哈夫曼編碼和量化去除冗余數(shù)據(jù)，然后在網(wǎng)絡(luò)上傳輸經(jīng)過壓縮的數(shù)據(jù)，最后在播放或顯示之前進行解碼，把原始的數(shù)據(jù)進行還原。其音視頻編解碼流程圖如下圖所示：

音視頻編解碼流程圖

（2）數(shù)據(jù)融合和處理技術(shù)

視頻會議系統(tǒng)主要包括MCU（多點控制單元）服務器和終端。其中終端包括：一般的PC終端（通過IP網(wǎng)絡(luò)連接互聯(lián)網(wǎng)）、硬件視頻會議終端（H.323或SIP協(xié)議的終端）、3G手機與平板電腦終端（通過3G網(wǎng)連接）等設(shè)備。MCU服務器連接互聯(lián)網(wǎng)與3G網(wǎng)絡(luò)（包括 WCDMA、TD-SCDMA、CDMA2000），由于不同的終端采用不同的網(wǎng)絡(luò)接入方式，因此為了使各種終端能互聯(lián)互通，接入系統(tǒng)的終端都需遵循統(tǒng)一的會議通信協(xié)議（H323協(xié)議或SIP協(xié)議等）。系統(tǒng)首先通過多媒體碼流提取連接終端的協(xié)議信息，然后對所屬的協(xié)議進行登記和判斷，接著通過協(xié)議棧模塊把該協(xié)議相關(guān)信息發(fā)送到協(xié)議編進行解碼和編碼，從而進行相應的數(shù)據(jù)交換，最后通過多媒體碼流輸入輸出模塊發(fā)送多媒體碼流給連接的終端，從而達到不同的終端、不同的協(xié)議、不同的網(wǎng)絡(luò)的數(shù)據(jù)高度融合和無縫連接。

（3）幀緩沖映射技術(shù)

視頻會議服務器主要提供給終端實時數(shù)據(jù)，因此要求視頻會議服務器具有很強的存儲轉(zhuǎn)發(fā)功能，傳統(tǒng)的數(shù)據(jù)流轉(zhuǎn)發(fā)方式，由于需要較大的內(nèi)存維持數(shù)據(jù)流，不能支持大量并發(fā)數(shù)據(jù)。該技術(shù)在視頻會議服務器的內(nèi)存為每個終端建立相應的緩沖區(qū)，作為接收和轉(zhuǎn)發(fā)數(shù)據(jù)的存儲空間。而視頻會議的音視頻都是以數(shù)據(jù)幀來進行編碼和解碼，因此緩沖區(qū)的最小單位是以數(shù)據(jù)幀來區(qū)分。為了達到大量并發(fā)的數(shù)據(jù)處理能力，為每個連接的終端和數(shù)據(jù)幀緩沖，用Hash表進行一一映射對應，當需要轉(zhuǎn)發(fā)數(shù)據(jù)的時候，只要通過查找終端的Hash映射表就可以快速搜索到相應的幀緩沖，為視頻會議服務器處理大量并發(fā)的數(shù)據(jù)提供的手段。

（4）3G智能手機移植技術(shù)

3G智能手機使用的操作系統(tǒng)一般與PC的操作系統(tǒng)不一樣，其開發(fā)環(huán)境一般都在PC上進行，通過模擬器在PC上進行手機系統(tǒng)的應用程序開發(fā)，而在這些操作系統(tǒng)上運行的應用程序一般都比較缺乏，為了在系統(tǒng)上有更多的應用，通常把PC上的應用程序通過相應的代碼修改和重新編譯，實現(xiàn)PC應用程序的手機移植。智能手機的應用程序移植主要采用跨平臺的開發(fā)語言進行開發(fā)，如JAVA和C語言， 通過跨平臺語言的多平臺交叉編譯以及一些特定的優(yōu)化，使在PC上運行的應用系統(tǒng)能移植到手機系統(tǒng)上。

（5）恒定視頻質(zhì)量的碼率控制技術(shù)

通常的視頻碼率控制是從整體上對圖像質(zhì)量進行優(yōu)化，優(yōu)化過程中可能導致每幀圖像內(nèi)各宏塊的信噪比分布不集中，圖像各部分質(zhì)量有較大波動，造成主觀視覺質(zhì)量下降。該技術(shù)通過估計P幀類型圖像復雜度或者I幀類型圖像的復雜度以及量化參數(shù)來調(diào)節(jié)視頻質(zhì)量，從而獲得一致性的圖像質(zhì)量和更好的視覺感受。

（6）丟包后處理技術(shù)

在無QOS保障的網(wǎng)絡(luò)中，由于視頻會議傳輸需要較大的數(shù)據(jù)流量，數(shù)據(jù)很容易出現(xiàn)延遲或者丟包的現(xiàn)象，如對丟包后的數(shù)據(jù)不進行處理，數(shù)據(jù)還原的質(zhì)量會出現(xiàn)一定影響，因此對丟包后的數(shù)據(jù)進行處理是數(shù)據(jù)傳輸處理當中非常重要的部分，通常采用丟包后數(shù)據(jù)重發(fā)技術(shù)或者丟包后處理技術(shù)來進行丟包恢復，數(shù)據(jù)重發(fā)技術(shù)一般通過協(xié)議來完成，如TCP或可靠的UDP來實現(xiàn)，但這種方式會增加更多的帶寬和更大的延遲，另外一種方式是丟包后處理技術(shù)，通過前向糾錯、視頻錯誤掩飾以及其他的方式實現(xiàn)丟包后的數(shù)據(jù)還原，該方式既能還原較大的數(shù)據(jù)量，而且不產(chǎn)生延遲，實現(xiàn)了數(shù)據(jù)實時性與可靠性之間的平衡點，滿足低帶寬的實時交互式視頻會議傳輸?shù)囊蟆?/span>

（7）文檔協(xié)同瀏覽技術(shù)

文檔協(xié)同瀏覽通常是通過文檔分發(fā)到各個客戶端，從而實現(xiàn)文檔的共享，但該方式須把文檔傳輸?shù)礁鱾€客戶端才能實現(xiàn)文檔的協(xié)同瀏覽，因此如果文件較大，會造成較大時間等待。本項目的文檔協(xié)同瀏覽技術(shù)是通過虛擬打印技術(shù)進行的，虛擬打印技術(shù)是通過底層的驅(qū)動來模擬一個打印機輸出設(shè)備，當文檔調(diào)用虛擬打印機進行打印的時候，通過驅(qū)動層對將要輸出到打印口的數(shù)據(jù)進行截獲，從而把文檔轉(zhuǎn)化成圖片，然后進行傳輸和協(xié)同瀏覽。該方式由于模擬的是打印機打印文檔，因此支持任意文檔格式，提高了系統(tǒng)的適用性。該技術(shù)還能把文檔進行分頁處理，共享端瀏覽的文檔只須傳輸當前所看的頁面，避免了整個文檔的傳輸，既節(jié)省了帶寬也增加了協(xié)同瀏覽的實時性。

（8）分層視頻編碼技術(shù)

分層視頻編碼是把視頻圖像分割成一個基層和一到多個增強層來創(chuàng)建視頻圖像的，這些視頻流分別搭載在網(wǎng)絡(luò)上的不同數(shù)據(jù)包中，基層數(shù)據(jù)包丟失所造成的影響和非可分層編碼的結(jié)果是一致的，不過增強層數(shù)據(jù)包丟失造成的影響就要小得多。由于增強層是以基層而不是前幀圖像為基礎(chǔ)的，因此，增強層的數(shù)據(jù)包丟失只會引起暫時性的清晰度的下降，而不會對視頻圖像的基本架構(gòu)帶來影響，從而大大提高視頻的抗丟包能力。

分層視頻編碼還能通過不同的層，產(chǎn)生不同的幀率和分辨率的視頻編碼壓縮流，以適應不同帶寬，不同顯示分辨率的應用需求。傳統(tǒng)的非分層視頻編碼對圖像的編碼只是通過空間和時間上對數(shù)據(jù)進行壓縮，其數(shù)據(jù)與幀數(shù)、分辨率沒有直接相關(guān)性，數(shù)據(jù)的大小只能傳輸固定的幀數(shù)和分辨率；而分層視頻編碼通過分層的模式把幀數(shù)、分辨率作為直接的參考，視頻的幀和不同分辨率的圖像直接插入到數(shù)據(jù)流，可以隨著帶寬的不同，采用不同的幀數(shù)和分辨率，有效節(jié)約了帶寬和提高了視頻圖像的質(zhì)量。如圖：對于專網(wǎng)的會議終端，可以采用1080P分辨率、30幀/秒進行高清視頻的傳輸，而在3G網(wǎng)絡(luò)，可以采用270P分辨率、30幀/秒進行視頻傳輸，這樣的方式更能滿足不同帶寬的終端的需求，提高了終端的網(wǎng)絡(luò)利用率。

（9）去塊效應濾波器技術(shù)

視頻壓縮算法是通過分塊來實現(xiàn)壓縮，由于編碼存在一定的失真，經(jīng)過壓縮編碼還原后，會在解碼后的圖像中形成塊效應，會引起圖像的質(zhì)量的下降，因此需對解碼后的圖像進行去塊效應，平滑圖像邊緣，改善還原后的圖像質(zhì)量。去塊效率濾波器主要采用：對真實邊界不濾波，對偽邊界根據(jù)像素穿越邊界的漸變度和編碼方式進行濾波；根據(jù)濾波強度，選擇不同的濾波系數(shù)對邊界兩側(cè)像素進行濾波操作等，從而使還原后的圖像消除塊效應，改善圖像的感觀質(zhì)量。

（10）混音技術(shù)

視頻會議當中，人們希望視頻會議能夠模擬真實的會議環(huán)境，在有多人同時發(fā)言的情況下，終端能同時聽到每個人說話的聲音，這就需要增加混音功能，所謂的混音就是將不同的音頻流在某節(jié)點處通過線性疊加的方法混合成一個音頻流，這樣在播放的時候達到模擬真實會場場景的目的。

（11）音視頻硬解碼技術(shù)

軟解碼是通過軟件讓CPU來對視頻進行解碼處理;而硬解碼是指不借助于CPU，而通過專用的子卡設(shè)備來獨立完成視頻解碼任務。硬解碼相對軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實現(xiàn)，而在3G智能手機的顯示芯片一般都已經(jīng)集成硬解碼，因此3G智能手機手機上可以直接通過操作相應的硬件編來實現(xiàn)高效的音視頻編解碼。

（13）P2P技術(shù)

P2P技術(shù)是指節(jié)點之間都是同級節(jié)點，同時對網(wǎng)絡(luò)上的其它節(jié)點充當客戶端和服務器的一種技術(shù)。這種設(shè)計模型不同于傳統(tǒng)的客戶端-服務器模型，在客戶端-服務器模型中通信通常來往于一個服務器。而P2P的客戶端的數(shù)據(jù)除控制數(shù)據(jù)外一般都不直接通過服務器，這樣視頻會議服務器就不會成為帶寬和信息處理的瓶頸，提升了系統(tǒng)的容量。P2P技術(shù)更適合于點對點視頻通信、3G等“非中心化”的業(yè)務。