酷家樂室內(nèi)結(jié)構(gòu)化數(shù)據(jù)集Structured3D入選ECCV 2020

來源：智能家居時(shí)間：2020-07-07 15:22

近日，歐洲計(jì)算機(jī)視覺會(huì)議ECCV 2020公布了論文錄取結(jié)果，由酷家樂KooLab團(tuán)隊(duì)投稿的室內(nèi)結(jié)構(gòu)化數(shù)據(jù)集Structured3D成功入選。ECCV與ICCV、CVPR共稱為計(jì)算機(jī)視覺領(lǐng)域三大國(guó)際頂級(jí)學(xué)術(shù)會(huì)議，今年ECCV共收到5025篇有效投稿，是ECCV 2018的兩倍多，而接受率僅為27%。

《Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling》由酷家樂與上?？萍即髮W(xué)、賓州州立大學(xué)共同提出。研究者基于酷家樂海量的室內(nèi)設(shè)計(jì)解決方案，并結(jié)合程序自動(dòng)提取的房間結(jié)構(gòu)，構(gòu)建了富有三維結(jié)構(gòu)標(biāo)注的數(shù)據(jù)集?；诖藬?shù)據(jù)集，人工智能可以自動(dòng)從二維圖像中提取房間的三維布局結(jié)構(gòu)。

在計(jì)算機(jī)視覺領(lǐng)域，全局、結(jié)構(gòu)化的3D重建在近些年受到越來越多的關(guān)注，它能對(duì)場(chǎng)景提供更簡(jiǎn)潔而魯棒的恢復(fù)與理解，在不同行業(yè)有許多潛在應(yīng)用。然而由于標(biāo)注成本高昂，之前的工作大多只標(biāo)注自己感興趣的結(jié)構(gòu)，并且數(shù)據(jù)集的規(guī)模都比較小；另外，人工標(biāo)注的質(zhì)量也良莠不齊。以全景圖的房間布局任務(wù)為例，目前常用的真實(shí)場(chǎng)景數(shù)據(jù)集都只有如幾百?gòu)垐D片，并且均假設(shè)房間結(jié)構(gòu)為立方體模型（即房間由六面墻構(gòu)成，且墻與墻之間相互垂直）。這些因素都極大地限制了機(jī)器學(xué)習(xí)算法的性能。

為了解決以上問題，研究者基于酷家樂專業(yè)的室內(nèi)設(shè)計(jì)解決方案，如上圖所示，同時(shí)利用機(jī)器從自動(dòng)提取房間結(jié)構(gòu)，包括: 線段（line segment）、交點(diǎn)（junction）、平面（plane）等這些型元（primitive），和他們之間的關(guān)系（relationship），滿足立方體（cuboid）和曼哈頓世界假設(shè)（Manhattan-world assumption）的平面集合，如下圖所示。

隨后，研究者選取了3500個(gè)不同場(chǎng)景，共計(jì)20k房間，并利用酷家樂真實(shí)的渲染引擎，得到近兩百萬圖像，以及相應(yīng)的3D結(jié)構(gòu)化標(biāo)注，包括不同的裝修配置，不同的光照，深度圖，語義圖。研究者通過實(shí)驗(yàn)驗(yàn)證了利用這些合成的具有真實(shí)感、結(jié)構(gòu)化的大規(guī)模數(shù)據(jù)能夠提升算法在真實(shí)場(chǎng)景的預(yù)測(cè)結(jié)果。

眾所周知，家居板塊是個(gè)復(fù)雜、繁瑣、重人工的行業(yè)，亟需科技和互聯(lián)網(wǎng)的助力降本增效。這篇論文主要基于酷家樂的核心技術(shù)研究室內(nèi)結(jié)構(gòu)化數(shù)據(jù)集，將為酷家樂人工智能技術(shù)在家居行業(yè)的應(yīng)用落地帶來實(shí)際應(yīng)用價(jià)值。

為了推動(dòng)該領(lǐng)域的發(fā)展，酷家樂在ECCV 2020還參與組織Holistic Scene Structures for 3D Vision Workshop與Holistic 3D Vision Challenge。組織者基于Structured3D數(shù)據(jù)集提出了室內(nèi)布局估計(jì)競(jìng)賽，不同于現(xiàn)有方法，競(jìng)賽中的算法需要能夠不依賴于房間布局的假設(shè)從而預(yù)測(cè)更一般化的房間布局結(jié)構(gòu)。該研討會(huì)和競(jìng)賽由賓州州立大學(xué)的周子寒教授、西蒙弗雷澤大學(xué)的Yasutaka Furukawa、加州大學(xué)伯克利分校的馬毅教授、上?？萍即髮W(xué)的高盛華教授，聯(lián)合酷家樂和字節(jié)跳動(dòng)AI Lab等機(jī)構(gòu)舉辦。

競(jìng)賽結(jié)果提交截止日期為7月31日，獲獎(jiǎng)團(tuán)隊(duì)名單將于8月7日公布，挑戰(zhàn)賽獲獎(jiǎng)的團(tuán)隊(duì)將邀請(qǐng)至8月份線上召開的ECCV 2020 Holistic 3D Vision Workshop上匯報(bào)展示。

無論是本次入選的論文，還是組織Holistic 3D Workshop和Holistic 3D Vision Challenge，酷家樂的宗旨是希望與頂尖業(yè)界和學(xué)術(shù)界研究者深入交流，共同探討當(dāng)前人工智能技術(shù)的邊界，關(guān)注并解決室內(nèi)、室外場(chǎng)景幾何布局理解問題，進(jìn)而引領(lǐng)該研究方向，同時(shí)推動(dòng)學(xué)術(shù)研究成果在實(shí)際業(yè)務(wù)中的應(yīng)用。