宙視達(dá)專(zhuān)業(yè)視頻結(jié)構(gòu)化及千萬(wàn)級(jí)人臉庫(kù)比對(duì)服務(wù)器系統(tǒng)架構(gòu)及優(yōu)勢(shì)說(shuō)明

整個(gè)系統(tǒng)采用中間件服務(wù)器也即解析服務(wù)器，實(shí)現(xiàn)了端云結(jié)合的體系架構(gòu)。充分的發(fā)揮了前端智能攝像機(jī)的邊緣計(jì)算作用，將大量沒(méi)有人經(jīng)過(guò)的視頻幀進(jìn)行了過(guò)濾，每路視頻25幀*60分*60秒*24小時(shí)=216萬(wàn)張幀，有人經(jīng)過(guò)的可能只有2000-5000張，智能攝像機(jī)就是把這幾千張照片找出來(lái)，也充分的發(fā)揮了具有專(zhuān)業(yè)計(jì)算能力的結(jié)構(gòu)化服務(wù)器在算法上的絕對(duì)優(yōu)勢(shì)，讓整個(gè)系統(tǒng)的可用性及監(jiān)控監(jiān)管的力度大幅度的提升。

具備有行業(yè)最完整的21項(xiàng)屬性102個(gè)不同值的結(jié)構(gòu)化檢測(cè)能力，性別：不確定、男性、女性。年齡階段：不確定、幼兒、青年、中年、老年。戴眼鏡：不確定、戴眼鏡、無(wú)眼鏡。使用手機(jī)：不確定、未使用手機(jī)、使用手機(jī)。背包：不確定、無(wú)背包、單肩包、雙肩包。撐傘：不確定、打傘、未打傘。帽子：不確定、無(wú)帽、普通帽、安全帽。吸煙：不確定、吸煙、未吸煙。交通工具：不確定、沒(méi)坐車(chē)、摩托車(chē)、自行車(chē)、三輪車(chē)、無(wú)交通工具。手提物：不確定、有提、無(wú)手提物。上裝大類(lèi)：不確定、長(zhǎng)袖、短袖。上裝顏色：不確定、紅色、橙色、黃色、綠色、藍(lán)色、紫色、粉色、黑色、白色、灰色、棕色。上裝紋理：不確定、純色、圖案、碎花、條紋或格子。上裝細(xì)分：不確定、T恤、無(wú)袖、襯衫、西裝、毛衣、夾克、羽絨服、風(fēng)衣、外套。下裝種類(lèi)：不確定、長(zhǎng)褲、短褲、長(zhǎng)裙、短裙。下裝顏色：不確定、紅色、橙色、黃色、綠色、藍(lán)色、紫色、粉色、黑色、白色、灰色、棕色。遮擋：不確定、無(wú)遮擋、輕度遮擋、重度遮擋。身體朝向：不確定、正面、背面、左側(cè)面、右側(cè)面。是否殘疾：不確定、正常人體、非正常人體。上方殘疾：不確定、有上方截肢、無(wú)上方截肢。下方殘疾：不確定、有下方截肢、無(wú)上方截肢。

中間件服務(wù)器不僅只是將攝像機(jī)的圖片流，推送給結(jié)構(gòu)化服務(wù)器，這中間需要一個(gè)緩存與調(diào)度機(jī)制，把結(jié)構(gòu)化服務(wù)器的作用最大化。而且所有的照片存儲(chǔ)，檢索，回放等功能，也由中間件服務(wù)器來(lái)實(shí)現(xiàn)。使得結(jié)構(gòu)化服務(wù)器只需完成最原始的智能分析即可，通過(guò)API把計(jì)算能力提供給中間件服務(wù)器，而邊緣計(jì)算攝像機(jī)也只需完成最基本的人車(chē)檢測(cè)即可，無(wú)需承載復(fù)雜的算法。而中間件服務(wù)器的功能定義，及向上級(jí)平臺(tái)的接口。

整個(gè)系統(tǒng)采用中間件服務(wù)器也即解析服務(wù)器，實(shí)現(xiàn)了端云結(jié)合的體系架構(gòu)。充分的發(fā)揮了前端智能攝像機(jī)的邊緣計(jì)算作用，將大量沒(méi)有人經(jīng)過(guò)的視頻幀進(jìn)行了過(guò)濾，每路視頻25幀*60分*60秒*24小時(shí)=216萬(wàn)張幀，有人經(jīng)過(guò)的可能只有2000-5000張，智能攝像機(jī)就是把這幾千張照片找出來(lái)。也充分的發(fā)揮了具有專(zhuān)業(yè)計(jì)算能力的人臉比對(duì)服務(wù)器在算法上的絕對(duì)優(yōu)勢(shì)。

可對(duì)人臉進(jìn)行分析，獲得眼、口、鼻輪廓等72個(gè)關(guān)鍵點(diǎn)定位準(zhǔn)確識(shí)別多種人臉屬性，如性別、年齡、表情、情緒，正臉系數(shù)等信息。該技術(shù)可適應(yīng)大角度側(cè)臉，遮擋，模糊，表情變化等各種實(shí)際環(huán)境。通過(guò)模式匹配的方式，512個(gè)特征征相當(dāng)于512個(gè)字段，即相當(dāng)于數(shù)據(jù)庫(kù)查詢(xún)的方式實(shí)現(xiàn)千萬(wàn)級(jí)人員庫(kù)的秒級(jí)檢索。

中間件服務(wù)器不僅只是將攝像機(jī)的圖片流，推送給結(jié)構(gòu)化服務(wù)器，這中間需要一個(gè)緩存與調(diào)度機(jī)制，把比對(duì)服務(wù)器的作用最大化。而且所有的照片存儲(chǔ)，檢索，回放等功能，也由中間件服務(wù)器來(lái)實(shí)現(xiàn)。使得比對(duì)服務(wù)器只需完成最原始的比對(duì)即可，通過(guò)API把計(jì)算能力提供給中間件服務(wù)器，而邊緣計(jì)算攝像機(jī)也只需完成最基本的人臉檢測(cè)即可，無(wú)需承載復(fù)雜的高精度的比對(duì)算法。 智能人臉中間件識(shí)別服務(wù)器

中間件服務(wù)器同時(shí)也承載了應(yīng)用層的一些比對(duì)邏輯，在以圖搜圖或陌生人軌跡的應(yīng)用場(chǎng)景中就發(fā)揮了很大的作用。本項(xiàng)目610個(gè)攝像機(jī)一年產(chǎn)生了1.8億張照片，常規(guī)的系統(tǒng)架構(gòu)是需要把1.8億張照片保存在比對(duì)服務(wù)器中。檢索的時(shí)候需要超高性能的服務(wù)器,將提供的照片與在一秒或幾秒與抓拍保存的這1.8億張照片進(jìn)行比對(duì)。提供的照片可能是5年前的證件照，即便這個(gè)人在1.8億張里有100張照片，大部分的非正臉照片也是比對(duì)不成功的，達(dá)不到85%的相似度。

而我們通過(guò)中間件服務(wù)器的方案，在比對(duì)服務(wù)器中只需保存不重復(fù)的最多1000萬(wàn)個(gè)人員的臨時(shí)模版，而且每個(gè)模版都是當(dāng)前在這610個(gè)攝像機(jī)前經(jīng)過(guò)所抓拍的最為正臉的照片。每抓拍到一張照片，就去比對(duì)服務(wù)器中檢索，如果不存在則新建一個(gè)模版。如果存在且當(dāng)前所抓照片正臉系數(shù)比庫(kù)中的還要高，就替換為剛抓的照片，如果要低則只返回ID號(hào)。實(shí)現(xiàn)了抓拍的當(dāng)時(shí)對(duì)所有的照片已經(jīng)進(jìn)行了清洗，已經(jīng)標(biāo)注了一個(gè)唯一的FACEID，只是臨時(shí)的，沒(méi)詳細(xì)的身份信息，但活動(dòng)的頻率與軌跡已經(jīng)是在存入抓拍記錄時(shí)就計(jì)算好了的。

對(duì)這1.8億張照片進(jìn)行檢索時(shí)就優(yōu)化為，從1000萬(wàn)張正臉的臨時(shí)模版中去找到這個(gè)臨時(shí)的FACEID，再根據(jù)這個(gè)FACEID去抓拍記錄中進(jìn)行數(shù)據(jù)庫(kù)級(jí)別的查尋，速度可以在秒級(jí)。同時(shí)5年前的照片與最正臉的當(dāng)前照片比對(duì)容易成功，而這個(gè)最正臉的照片與這610個(gè)攝像機(jī)中100張照片，都能比對(duì)成功。同樣的攝像機(jī)抓的最正臉的模版，與第二次經(jīng)過(guò)類(lèi)似場(chǎng)景的照片，相似度可以達(dá)到百分之百。

三、高性能檢索服務(wù)器    動(dòng)態(tài)人臉?lè)治鲎R(shí)別中間件服務(wù)器

檢索服務(wù)器是整個(gè)系統(tǒng)結(jié)構(gòu)化后非多媒體數(shù)據(jù)的集中存儲(chǔ)服務(wù)器，人形結(jié)構(gòu)化的屬性特征及各中間件服務(wù)器的人臉抓拍記錄的保存，但并不包含任何圖片及視頻數(shù)據(jù)，建立高性能的索引，保證對(duì)上十億條標(biāo)準(zhǔn)線(xiàn)性數(shù)據(jù)的秒級(jí)檢索。1年有1.8億條抓拍記錄，1年產(chǎn)生的人形結(jié)構(gòu)化數(shù)據(jù)至少是人臉數(shù)據(jù)的兩倍為3.6億條，1.8+3.6=5.4億條數(shù)據(jù)。適當(dāng)做些性能的冗余，面對(duì)突發(fā)性的數(shù)據(jù)增漲。10億條記錄平均每條記錄按100個(gè)字節(jié)，即93GB。整個(gè)存儲(chǔ)量相對(duì)于視頻錄像來(lái)說(shuō)并不算大的，并發(fā)寫(xiě)入的速度也不會(huì)太大，但檢索的效率要求極高。存儲(chǔ)的硬件自然要求比較高，數(shù)據(jù)庫(kù)產(chǎn)品的選擇也很重要，但應(yīng)用層的一些策略更起決定性作用。

標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)是針對(duì)企業(yè)級(jí)應(yīng)用，不僅有增加刪除，而且有更新動(dòng)作。但人臉抓拍記錄，及結(jié)構(gòu)化數(shù)據(jù)都是具有嚴(yán)格的時(shí)間先后順序，完全線(xiàn)性的存儲(chǔ)。而且各通道之間也是完全孤立，沒(méi)有任何關(guān)聯(lián)性的，這些數(shù)據(jù)也是不可攥改的。針對(duì)這樣的特性，我們完全可以把它按功能分割成不同的數(shù)據(jù)表，不同的數(shù)據(jù)庫(kù)，或不同的數(shù)據(jù)庫(kù)服務(wù)器。高性能檢索服務(wù)器正是在不成倍的增加硬件成本的前提下，實(shí)現(xiàn)十倍以上的速度提升，在應(yīng)用層做深度的定制。

周期性的刪除一年前或是三年前的記錄，用簡(jiǎn)單的刪除語(yǔ)句，就算是一個(gè)月刪除一次，也是上億條記錄，如果集中到一個(gè)數(shù)據(jù)庫(kù)，一張表，可能需要數(shù)分鐘的時(shí)間，而且會(huì)留下大量的碎片空間，長(zhǎng)時(shí)間穩(wěn)定運(yùn)行很受影響。目前的數(shù)據(jù)庫(kù)產(chǎn)品，要找到針對(duì)性解決這個(gè)問(wèn)題的并不容易。我們?cè)趹?yīng)用層就可以輕易解決這個(gè)問(wèn)題，采用截?cái)啾砘蚴莿h除表的方式，速度極快，可以達(dá)到毫秒極，相當(dāng)于Format /q的作用是一樣的。我們每個(gè)月建立一張獨(dú)立的表格，從安防的應(yīng)用場(chǎng)景來(lái)看，檢索的時(shí)候一般也是有一定時(shí)間周期的，只要檢索的時(shí)候根據(jù)時(shí)間段分別從不同表格去檢索，最后匯總即可，我們就可以按表格來(lái)截?cái)嗷蚴莿h除即可。這樣不僅刪除的速度可以達(dá)到秒級(jí)，寫(xiě)入的速度也會(huì)極大的提升。

這樣的技術(shù)方案，即便是十年時(shí)間而且攝像機(jī)的數(shù)量達(dá)到十倍以上，達(dá)到1000億條記錄，通過(guò)2-3臺(tái)服務(wù)器集成的方式，將不同的攝像機(jī)分布在不同的服務(wù)器上，也是可以達(dá)到同樣的秒級(jí)檢索的要求的，成本只需要按單臺(tái)服務(wù)器承載數(shù)量的倍數(shù)增加即可。