人民網(wǎng)
人民網(wǎng)>>教育

“太極-Ⅱ”光芯片首次實(shí)現(xiàn)大規(guī)模光訓(xùn)練

2024年08月08日08:26 | 來(lái)源:科技日?qǐng)?bào)
小字號(hào)

原標(biāo)題:“太極-Ⅱ”光芯片首次實(shí)現(xiàn)大規(guī)模光訓(xùn)練

記者7日從清華大學(xué)獲悉,該校電子系方璐教授課題組與自動(dòng)化系戴瓊海教授課題組在智能光芯片領(lǐng)域取得重大進(jìn)展。他們首創(chuàng)全前向智能光計(jì)算訓(xùn)練架構(gòu),研制出“太極-Ⅱ”光芯片,實(shí)現(xiàn)了大規(guī)模神經(jīng)網(wǎng)絡(luò)的原位光訓(xùn)練,為人工智能(AI)大模型探索了光訓(xùn)練的新路徑。相關(guān)成果在線(xiàn)發(fā)表於最新一期國(guó)際學(xué)術(shù)期刊《自然》。

AI大模型的迅猛發(fā)展和廣泛應(yīng)用,使算力成為關(guān)鍵的戰(zhàn)略資源。智能光計(jì)算憑借高算力、低能耗的優(yōu)勢(shì),在后摩爾時(shí)代展現(xiàn)出巨大潛力。訓(xùn)練和推理,是AI大模型核心能力的兩大基石。此前,智能光芯片“太極”的問(wèn)世,為大規(guī)模復(fù)雜任務(wù)的“推理”帶來(lái)了曙光,但未能釋放光計(jì)算的“訓(xùn)練之能”?,F(xiàn)有光神經(jīng)網(wǎng)絡(luò)的訓(xùn)練嚴(yán)重依賴(lài)GPU離線(xiàn)建模,並要求高度匹配的前向-反向傳播模型。這對(duì)光計(jì)算系統(tǒng)的精準(zhǔn)對(duì)齊提出苛刻要求,致使梯度計(jì)算難、訓(xùn)練規(guī)模小,禁錮了光計(jì)算的優(yōu)勢(shì)。

“與現(xiàn)有訓(xùn)練范式不同,我們摒棄了反向傳播,另辟蹊徑,構(gòu)建了光神經(jīng)網(wǎng)絡(luò)的對(duì)稱(chēng)傳播模型,僅用光學(xué)系統(tǒng)的前向傳播即可實(shí)現(xiàn)高效高精度光訓(xùn)練?!狈借锤嬖V科技日?qǐng)?bào)記者。

據(jù)介紹,“太極-Ⅱ”的面世,填補(bǔ)了智能光計(jì)算在大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練這一核心領(lǐng)域的空白。除了加速AI模型訓(xùn)練外,其還在高性能智能成像、高效解析拓?fù)涔庾酉到y(tǒng)等方面表現(xiàn)出卓越性能,為人工智能大模型、通用人工智能、復(fù)雜智能系統(tǒng)的高效精準(zhǔn)訓(xùn)練開(kāi)辟了新路徑。

 (記者華凌)

(責(zé)編:郝孟佳、李昉)

分享讓更多人看到

返回頂部
北碚区| 甘谷县| 太保市| 泸定县| 商城县| 沐川县| 惠州市| 农安县| 雅安市| 海盐县| 贵阳市| 乳源| 扎赉特旗| 嘉兴市| 瑞金市| 章丘市| 盘山县| 盐池县| 西林县| 鄂温| 偏关县| 普定县| 乌审旗| 金湖县| 崇阳县| 湘潭市| 济阳县| 恩平市| 同江市| 台南市| 宁河县| 望城县| 区。| 临沂市| 东乡族自治县| 安化县| 旬邑县| 北宁市| 饶平县| 兴安县|