日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 生活百科 > >

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

人工智能算法ai施耐德電氣自動(dòng)化

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片

北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘

文章圖片




近日 ， 北京大學(xué)王選計(jì)算機(jī)研究所周嘉歡助理教授與彭宇新教授合作在人工智能重要國(guó)際期刊 IEEE TPAMI 發(fā)布一項(xiàng)最新的研究成果：DKP++（Distribution-aware Knowledge Aligning and Prototyping for Non-exemplar Lifelong Person Re-Identification） 。 該工作針對(duì)終身學(xué)習(xí)中的災(zāi)難性遺忘問(wèn)題 ， 提出分布建模引導(dǎo)的知識(shí)對(duì)齊與原型建模框架 ， 不僅有效增強(qiáng)了對(duì)歷史知識(shí)的記憶能力 ， 也提升了模型的跨域?qū)W習(xí)能力 。

本文的第一作者為北京大學(xué)北京大學(xué)王選計(jì)算機(jī)研究所助理教授周嘉歡 ， 通訊作者為北京大學(xué)王選計(jì)算機(jī)研究所教授彭宇新 。 目前該研究已被 IEEE TPAMI 接收 ， 相關(guān)代碼已開(kāi)源 。



論文標(biāo)題：Distribution-aware Knowledge Aligning and Prototyping for Non-exemplar Lifelong Person Re-Identification 論文鏈接：https://ieeexplore.ieee.org/abstract/document/11120364 代碼鏈接：https://github.com/zhoujiahuan1991/TPAMI-DKP_Plus_Plus
行人重識(shí)別（Person Re-Identification ReID）旨在針對(duì)跨相機(jī)視角、跨地點(diǎn)、跨時(shí)間等場(chǎng)景中 ， 基于視覺(jué)特征實(shí)現(xiàn)對(duì)同一行人圖像的匹配與關(guān)聯(lián) 。 該技術(shù)在多攝像頭監(jiān)控、智能交通系統(tǒng)、城市安全管理以及大規(guī)模圖像視頻檢索等實(shí)際場(chǎng)景中具有廣泛應(yīng)用價(jià)值 。 然而 ， 在現(xiàn)實(shí)環(huán)境中 ， 由于采集地點(diǎn)、拍攝設(shè)備和時(shí)間條件的不斷變化 ， 行人圖像的分布會(huì)隨之發(fā)生遷移 ， 導(dǎo)致測(cè)試數(shù)據(jù)與模型訓(xùn)練時(shí)所依賴的源數(shù)據(jù)之間存在顯著的域偏移 。 這一分布漂移問(wèn)題使得傳統(tǒng) “靜態(tài)訓(xùn)練 - 固定推理” 的 ReID 范式在長(zhǎng)期動(dòng)態(tài)環(huán)境中的適應(yīng)性不足 。

為應(yīng)對(duì)這一挑戰(zhàn) ， 研究者提出了更具現(xiàn)實(shí)意義的任務(wù)設(shè)定 ， 終身行人重識(shí)別（Lifelong Person Re-ID LReID） 。 該任務(wù)要求模型在持續(xù)接收新域數(shù)據(jù)的過(guò)程中 ， 能夠高效地增量學(xué)習(xí)新知識(shí) ， 同時(shí)保持對(duì)先前已學(xué)習(xí)域中身份信息的辨識(shí)能力 ， 從而實(shí)現(xiàn)跨時(shí)間與跨域的長(zhǎng)期學(xué)習(xí)與知識(shí)保留 。

研究現(xiàn)狀

終身行人重識(shí)別任務(wù)的核心挑戰(zhàn)是災(zāi)難性遺忘問(wèn)題 ， 即模型在學(xué)習(xí)新域知識(shí)后 ， 對(duì)舊域中行人數(shù)據(jù)的檢索性能大幅降低 。 為解決該問(wèn)題 ， 現(xiàn)有方法主要通過(guò)保留歷史樣本或采用知識(shí)蒸餾策略來(lái)緩解遺忘 。 然而 ， 保留歷史樣本的方法存在數(shù)據(jù)隱私風(fēng)險(xiǎn)和存儲(chǔ)開(kāi)銷持續(xù)增長(zhǎng)的問(wèn)題；知識(shí)蒸餾方法因強(qiáng)制新舊模型輸出一致性 ， 制約了模型的可塑性 ， 限制了新知識(shí)學(xué)習(xí)能力 。 盡管原型學(xué)習(xí)技術(shù)在類增量學(xué)習(xí)任務(wù)中取得了較高性能 ， 但現(xiàn)有方法僅為每個(gè)類別保留單一特征中心 ， 忽略了類內(nèi)分布差異 ， 導(dǎo)致行人的細(xì)粒度知識(shí)丟失 ， 難以適用于依賴細(xì)粒度匹配的終身行人重識(shí)別任務(wù) 。

研究動(dòng)機(jī)

動(dòng)機(jī) 1：分布原型學(xué)習(xí) 。 為實(shí)現(xiàn)無(wú)歷史樣本存儲(chǔ)條件下有效保留歷史知識(shí) ， 我們提出通過(guò)實(shí)例級(jí)分布建模挖掘數(shù)據(jù)中的細(xì)粒度信息 ， 進(jìn)而構(gòu)建分布原型 ， 提升對(duì)不同域數(shù)據(jù)信息的表征和保存能力 。


圖 1 分布原型學(xué)習(xí)動(dòng)機(jī)

動(dòng)機(jī) 2：跨域分布對(duì)齊 。 雖然分布原型可有效緩解遺忘問(wèn)題 ， 由于新舊域數(shù)據(jù)存在分布鴻溝 ， 造成歷史原型對(duì)新數(shù)據(jù)學(xué)習(xí)的引導(dǎo)和約束作用較弱 ， 導(dǎo)致模型的新知識(shí)學(xué)習(xí)能力和抗遺忘能力仍然受限 。 為克服該挑戰(zhàn) ， 我們提出引入輸入端分布建模并構(gòu)建跨域樣本對(duì)齊機(jī)制 ， 提升歷史分布信息對(duì)新域特征學(xué)習(xí)的引導(dǎo)作用 ， 從而在大幅提升模型對(duì)歷史知識(shí)鞏固能力的同時(shí) ， 保障了對(duì)新數(shù)據(jù)知識(shí)的學(xué)習(xí)能力 。


圖 2 跨域分布對(duì)齊動(dòng)機(jī)

方法設(shè)計(jì)：分布建模引導(dǎo)的知識(shí)對(duì)齊與原型建模框架


圖 3 DKP++ 模型

（1）實(shí)例級(jí)細(xì)粒度建模：提出實(shí)例分布建模網(wǎng)絡(luò) ， 動(dòng)態(tài)捕捉行人實(shí)例的局部細(xì)節(jié)信息 ， 為細(xì)粒度匹配奠定基?。 ?





（2）分布感知的原型生成：設(shè)計(jì)分布原型生成算法 ， 將學(xué)習(xí)到的實(shí)例級(jí)分布信息聚合為更魯棒的類別級(jí)分布原型 ， 克服了單一特征中心的局限性 ， 保留類內(nèi)差異知識(shí) 。



（3）分布對(duì)齊：引入輸入端分布建模機(jī)制 ， 彌合新舊數(shù)據(jù)特征分布鴻溝 ， 提升模型對(duì)歷史知識(shí)的利用能力 。



（4）基于原型的知識(shí)遷移：提出基于原型的知識(shí)遷移模塊 ， 利用生成的分布原型和有標(biāo)注的新數(shù)據(jù)協(xié)同指導(dǎo)模型學(xué)習(xí) ， 在促進(jìn)新知識(shí)吸收的同時(shí) ， 實(shí)現(xiàn)了對(duì)舊知識(shí)的記憶 。



實(shí)驗(yàn)分析

1. 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

論文的實(shí)驗(yàn)采用兩個(gè)典型的訓(xùn)練域順序（Order-1 與 Order-2） ， 包含五個(gè)廣泛使用的行人重識(shí)別數(shù)據(jù)集（Market1501、DukeMTMC-ReID、CUHK03、MSMT17、CUHK-SYSU）作為訓(xùn)練域 。 分別評(píng)估模型在已學(xué)習(xí)域（Seen Domains）上的知識(shí)鞏固能力和在未知域（Unseen Domains）上的泛化能力 。 評(píng)測(cè)指標(biāo)采用行人 ReID 任務(wù)的標(biāo)準(zhǔn)指標(biāo)：平均精度均值（mAP）和 Rank-1 準(zhǔn)確率（R@1） 。

【北京大學(xué)提出分布驅(qū)動(dòng)的終身學(xué)習(xí)范式，用結(jié)構(gòu)建模解決災(zāi)難性遺忘】



2. 實(shí)驗(yàn)結(jié)果：

綜合性能分析：在兩種不同的域順序設(shè)定下 ， DKP++ 的已知域平均性能（Seen-Avg mAP 和 Seen-Avg R@1）相比于現(xiàn)有方法提升 5.2%-7% 。 同時(shí) ， DKP++ 在未知域的整體泛化性能（UnSeen-Avg mAP 和 UnSeen-Avg R@1）上相比于現(xiàn)有方法提升 4.5%-7.7% 。



學(xué)習(xí)趨勢(shì)分析：與現(xiàn)有方法相比 ， 隨著已學(xué)習(xí)域的數(shù)量增加 ， DKP++ 呈現(xiàn)了更高的歷史知識(shí)鞏固能力 。 同時(shí) ， DKP++ 也呈現(xiàn)了更高的未知域泛化性能增長(zhǎng)速度 ， 驗(yàn)證了其所積累知識(shí)的魯棒性 。



基礎(chǔ)模型適配能力分析：在以不同的重識(shí)別基礎(chǔ)模型（VF-Res ， VF-ViT）作為預(yù)訓(xùn)練模型時(shí) ， DKP++ 均保持了對(duì)現(xiàn)有方法的優(yōu)勢(shì) ， 說(shuō)明其對(duì)不同的預(yù)訓(xùn)練模型均具備良好的適配能力 。

總結(jié)與展望

1. 技術(shù)創(chuàng)新

本項(xiàng)被 IEEE TPAMI 2025 接收的工作聚焦于終身行人重識(shí)別（LReID）任務(wù) ， 提出了以下創(chuàng)新性設(shè)計(jì)：

分布原型建模與表征：提出基于實(shí)例級(jí)分布建模構(gòu)建分布原型 ， 增強(qiáng)了模型對(duì)歷史信息的表達(dá)能力；

樣本對(duì)齊引導(dǎo)的原型知識(shí)遷移：通過(guò)域分布建模與樣本分布對(duì)齊克服新舊域數(shù)據(jù)的分布鴻溝 ， 增強(qiáng)歷史原型的利用能力 。 ?

2. 未來(lái)展望

DKP++ 為無(wú)樣本保留的終身學(xué)習(xí)技術(shù)提供了新范式 ， 未來(lái)在多個(gè)方面仍有改進(jìn)空間：

1. 基于大模型的分布對(duì)齊 。 本方法的分布對(duì)齊通過(guò)簡(jiǎn)單的卷積網(wǎng)絡(luò)實(shí)現(xiàn) ， 未來(lái)可基于 Diffusion 等架構(gòu)促進(jìn)分布對(duì)齊以進(jìn)一步提升模型的抗遺忘能力 。

2. 知識(shí)主動(dòng)遺忘機(jī)制 。 由于缺乏顯式的引導(dǎo) ， 模型中往往包含冗余知識(shí) ， 在引入抗遺忘機(jī)制時(shí)容易干擾新知識(shí)的學(xué)習(xí) ， 因此構(gòu)建模型的主動(dòng)遺忘機(jī)制對(duì)進(jìn)一步增強(qiáng)模型的知識(shí)鞏固和學(xué)習(xí)能力具有重要研究?jī)r(jià)值 。

3. 多模態(tài)終身學(xué)習(xí)機(jī)制 。 實(shí)際場(chǎng)景中存在紅外、點(diǎn)云、音頻、文本等多模態(tài)信息 ， 增強(qiáng)模型的多模態(tài)數(shù)據(jù)持續(xù)學(xué)習(xí)能力 ， 可促進(jìn)模型充分利用多元化信息以增強(qiáng)復(fù)雜環(huán)境的感知能力 。

    推薦閱讀