近日,云從科技從容大模型在視覺領(lǐng)域再次取得重要進展,基于視覺基礎(chǔ)大模型的目標(biāo)檢測器在檢測領(lǐng)域著名benchmark COCO數(shù)據(jù)集上從微軟研究院(MSR)、上海人工智能實驗室、智源人工智能研究院等多家知名企業(yè)與研究機構(gòu)脫穎而出,刷新了世界紀錄。
云從科技從容大模型在COCO測試集上平均精度(以下簡稱mAP,mean Average Precision)達到0.662,位列榜單第一(見下圖)。在驗證集上,單尺度取得mAP 0.656的佳績,多尺度TTA后mAP達到0.662,均達到世界領(lǐng)先水平。
大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí) 打造視覺核心技術(shù)
以GPT為代表的大數(shù)據(jù)自監(jiān)督預(yù)訓(xùn)練已經(jīng)在自然語言理解(NLP)領(lǐng)域取得了令人矚目的突破,視覺領(lǐng)域方面,大數(shù)據(jù)結(jié)合自監(jiān)督學(xué)習(xí)的基礎(chǔ)模型訓(xùn)練也有重要進展。
一方面,廣泛的視覺數(shù)據(jù)有助于模型學(xué)習(xí)通用的基礎(chǔ)特征。云從視覺基礎(chǔ)大模型,使用了超過20億的數(shù)據(jù),包括大量無標(biāo)簽數(shù)據(jù)集以及圖文多模態(tài)數(shù)據(jù)集,數(shù)據(jù)集的豐富多樣使得模型能夠提取到穩(wěn)健的特征,大大降低了下游任務(wù)的開發(fā)成本。
另一方面,自監(jiān)督學(xué)習(xí)不需要人工標(biāo)注,使得海量的無標(biāo)注數(shù)據(jù)訓(xùn)練視覺模型成為可能。云從對自監(jiān)督學(xué)習(xí)算法進行了多方面的改進,使其能更適用于檢測、分割等細粒度任務(wù),在COCO檢測任務(wù)上取得好成績就是證明。
開放目標(biāo)檢測+零次學(xué)習(xí)檢測能力 大幅降低研發(fā)成本
得益于視覺基礎(chǔ)模型優(yōu)異性能,云從從容大模型能夠基于大規(guī)模圖文多模態(tài)數(shù)據(jù)訓(xùn)練支持上千類別目標(biāo)的零次學(xué)習(xí)(以下簡稱zero-shot)檢測,涵蓋能源、交通、制造等行業(yè)的各類目標(biāo)。
從容大模型zero-shot能力在不同數(shù)據(jù)集上的表現(xiàn)
zero-shot能夠模仿人類的這個推理過程,利用過去的知識,在計算機中推理出新對象的具體形態(tài),從而使得計算機具有識別新事物的能力。
如何理解zero-shot?假設(shè)我們已知驢子和馬的形態(tài)特征,又已知老虎和鬣狗都是有條紋的動物,熊貓和企鵝是黑白相間的動物,我們定義斑馬是黑白條紋相間的馬科動物。不看任何斑馬的照片,僅僅憑借推理,在動物園一眾動物中,我們也能夠找到斑馬。
云從視覺基礎(chǔ)大模型表現(xiàn)出很強的泛化性能,大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本,同時zero-shot大幅提高了訓(xùn)練開發(fā)效率,使得廣泛應(yīng)用和快速部署成為可能。
云從視覺基礎(chǔ)大模型表現(xiàn)出很強的泛化性能,大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本,同時zero-shot大幅提高了訓(xùn)練開發(fā)效率,使得廣泛應(yīng)用和快速部署成為可能。
云從科技在視覺大模型上取得重要進展,行人基礎(chǔ)大模型在PA-100K、RAP V2、PETA、HICO-DET四個數(shù)據(jù)集上從阿里巴巴、日立等多家知名高校、企業(yè)與研究機構(gòu)脫穎而出,刷新了世界紀錄。
近日,云從科技與重慶大學(xué)大數(shù)據(jù)與軟件學(xué)院聯(lián)合研發(fā)的編程智能體——CoSEFA(Code SEcurity and Fix Agent)被軟件工程領(lǐng)域頂尖會議ACM SIGSOFT軟件工程基礎(chǔ)國際會議(FSE 2025)正式錄用。
周一到周五9:30-18:00(北京時間)
商務(wù)合作:business@cloudwalk.com
媒體合作:Media@cloudwalk.com
渠道合作:business_partner@cloudwalk.com
人才招聘:zhaopin@cloudwalk.com