中國(guó)青年報(bào)客戶端訊（陳書靈 中青報(bào)·中青網(wǎng)記者 王燁捷）只需一枚攝像頭和一對(duì)耳機(jī)便能將畫面轉(zhuǎn)化成語(yǔ)言，描繪場(chǎng)景、提示風(fēng)險(xiǎn)，讓視障者出行更安全、生活更便捷。日前，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（FudanNLP）的師生們研發(fā)了一款基于多模態(tài)大模型的“復(fù)旦·眸思”（MouSi）系統(tǒng)，為視障者量身打造了“聽見世界”App。預(yù)計(jì)今年3月該App將完成第一輪測(cè)試，在我國(guó)一二線城市和地區(qū)同步開啟試點(diǎn)，根據(jù)算力情況進(jìn)行推廣。
“聽見世界”App有三種工作模式。一是街道行走模式，它可以細(xì)致掃描道路情況，發(fā)現(xiàn)紅綠燈、十字路口、障礙物等，提示潛在風(fēng)險(xiǎn)；二是自由問(wèn)答模式，它可以帶著視障人士走進(jìn)博物館、藝術(shù)館、公園，捕捉四周景象的每個(gè)細(xì)節(jié)，用聲音構(gòu)建生活場(chǎng)景；三是尋物模式，它可以及時(shí)幫助主人找到不知道被放在哪里的手杖、不同口味的牛奶等。
據(jù)悉，我國(guó)盲人數(shù)量有1700多萬(wàn)，但在街上很少看到盲人出行。一個(gè)重要的原因是他們出門要面對(duì)大量不安全因素，難以獨(dú)自成行。
復(fù)旦大學(xué)自然語(yǔ)言實(shí)驗(yàn)室張奇教授介紹，“聽見世界”App項(xiàng)目的主導(dǎo)者都是“初出茅廬”的學(xué)生，在組內(nèi)頭腦風(fēng)暴會(huì)上，年輕學(xué)子總能提出開創(chuàng)性想法”。
該項(xiàng)目團(tuán)隊(duì)共計(jì)吸納了從本科生到博士生共25名復(fù)旦學(xué)子以及桂韜等多位教師、專家的加入。為了更好地感受視障者的難處，團(tuán)隊(duì)成員同樣模擬真實(shí)情境，蒙眼探索視障者“黑暗”世界，并邀請(qǐng)視障人士加入，進(jìn)一步摸清真實(shí)而具體的需求。在基于幾億張圖片訓(xùn)練出的“眸思”大模型基礎(chǔ)上，針對(duì)視障者提出的各類需求，同學(xué)們又用上萬(wàn)張圖片進(jìn)行特殊樣本訓(xùn)練，使“眸思”具備能夠適配更多場(chǎng)景的能力。未來(lái)，該項(xiàng)目還會(huì)開發(fā)更多的使用模式，比如閱讀模式，服務(wù)盲人朋友點(diǎn)菜、讀書等場(chǎng)景；解說(shuō)模式，承擔(dān)無(wú)障礙電影解說(shuō)員的工作。
(編輯:映雪)
揭秘薦股“黑嘴”收費(fèi)套路
年末貸款中介套路翻新，銀行“撇清關(guān)系”
虛假擺拍視頻為何屢禁不止？
古裝劇變槍戰(zhàn)片 “魔改”視頻“用料太猛了”