近日，信息學院有8篇論〗文被人工智能國際頂級會議NeurIPS 2023（Neural Information Processing Systems）錄用，其中6篇來自多媒體可信感知與高效計算教育部重點實驗室。錄用論文簡要介紹如下：
1. Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
本文提出了一種新穎且經濟實惠的解決方案，用於有效地一般羊皮紙將 LLMs 適應到 VL（視覺語言）任務中，稱為 MMA。MMA 不使用大型神經網絡來連接圖像編♂♂碼器和 LLM，而是采用輕量級模塊，即適配器，來彌合 LLMs 和 VL 任務之間的差距，同時也實現了圖像模型和語言模型的聯合優化。同時，MMA 還配備了一種路※由算法，可以幫助 LLM 在不損害其自然語言理解能力的情況下，在單模態和多模態指令之間實現自動切換。
論文第一作者是人工ぷ智能系2021級博士生羅根，通訊作者是紀榮嶸教授，由周奕毅副教授、孫曉帥副教授和2022級碩士生陳】晟新等共同合作完成。
2. Improving Adversarial Robustness via Information Bottleneck Distillation
本文提出了信息瓶頸蒸餾（IBD）方法，用兩種蒸餾策略來分別匹配信息瓶頸的兩個優化過程。首先，利用魯棒的軟標高级烹饪簽蒸餾來最大化潛在特征和」輸出預測之間的互信息；其次，提出了一種自適應特征蒸餾，可以基利斯的灵魂自動將相關知識從教師模型轉移到目◤標模型，從而可以限制輸入特征和潛在特征之間的互信息。本文方法在各種基準數據集進行了廣泛的實驗，實驗結果證明了所提出的方法可█以顯著提高模型的對抗魯棒性。
論文第一作者是人工ぷ智能系2020級博士生匡華峰，通訊作者是紀榮嶸教授，由劉宏博□士（日本國立信息伟德国际BETVlCTOR所）、Shin’ichi Satoh教授（日本國立信息伟德国际BETVlCTOR所）、吳永堅（騰訊優圖）等共同合作完成。
3. Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models
近年來，視覺語言預訓練(VLP)模型的規模和計算量不斷增加，導致將這些模型遷移到下遊任務時的開銷也越來越大。最近的伟德国际BETVlCTOR重□ 點關註了VLP模型參數高效遷移學習(PETL)，該方法僅需更新少量參數即可實現模型任務遷移。然而，大量的計算開銷仍然困擾著VLP的應用。因此，本文致力於伟德国际BETVlCTORVLP模型參數◣和計算的高效遷移學習(PCETL)。需要特別註意的是，PCETL不僅要限制VLP模型中可訓練參數的數量，還註重減少推理過程中的計算冗余，以實現更高效的傳輸。為實現這一目標，本文提出¤了一種新的動態架構跳過(DAS)方法。DAS不是直接優化VLP模型的內在架構，而是通過基於強化學習的過程觀察模塊對下遊任務的重要性，然後使用輕量級網絡跳過冗余模塊。這樣一來，VLP模型的遷移過程能夠有效地將√可訓練參數保持在較低水平，同時加快對下遊任務的推理速度。
論文第一作者是人工智能伟德国际BETVlCTOR院2022級博士生吳穹，通訊作者是紀榮嶸教授，由2022級碩士生余薇、周奕毅副教授、2021級碩士生黃書濱等共同合▓作完成。
4. E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning
作為一種新型異步視覺傳感器，事件相機具有極高的時間分辨率和動態範圍，能高性價比地應用於高速、高動態㊣場景。在事件▼相機中，各像素對超過閾值的光照變化進行異步脈沖穿透之箭響應。這一獨特的異步數據流對現有的同步數據處理方式帶來了新的挑戰。現有方法在事件表示過程中損失了大量的時間細節與時空關聯信息，不利暗影之握於高速、高動態㊣場景。針對這一諾斯冰心問題△△，本論文提出將原始事件相機數據建模為特殊時空點雲，使用基於點的學習方法自適應哥林地提取重】要的時間細節和時空關聯信息，並將其表示為網格化特征向量。論文提出的時空分離註意力機制有效的克服了事件數據中時間與空間維度的不同物理意義、量綱、分布帶來的挑戰，並且能夠以模塊化方式嵌入現有事件相機相關算法安抚之吻中。提⊙出的事件學習表示模塊可結合後續任務進行端到端學習達到更好的性能。論文在事件-三維點雲模型註冊任務的多個場景中進行了充分實驗，證明了本文表示學習方∩法的有效性。同時，該方法直接嵌入各類基於事件相機的光流估計、目標識別等任務中同樣取得了性能提升，證明了該方法在其他任務中具有泛化性。
論文共同第一作者是博士生林修弘和碩士生邱暢傑，通訊作者是沈冥思之歌思淇助理教授，由王程★教授、臧彧副教授、劉偉權博士、蔡誌鵬博士（英特爾公司）、Matthias Müller博士◣共同完成。
5. RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization
這個工作是信息學院NeurIPS 2022年亮點論文ResQ的擴展和深化。傳統的多智能體價值分解算法普遍通過最大化Q值（價值分布的期望ㄨㄨ）來選取智能體的最優動作。但機械守護者是在具有高度不確定性的多智能≡體環境中，由於存在著一些會帶來極高/低獎勵的小概率事件，因此最大化期望值的算法並不總能保證得到最優解。針對這一問題，本論文對多智能體協同強化學習中常用的個體全局最優光誓守备官化原則(IGM)進行了擴展，提出了風險敏感的個體全局最優化原則(RIGM)，並在理論上證明了現有的主流價值分解算法無●法滿足RIGM原則。之後，本論文提出了RiskQ（基於風險函數的價●值分解方法），將聯合價值分布建模為個體價值分布的帶權分位數混合的形式，通過理論驗證其能夠滿足RIGM原則，且適用於任意扭曲風險指標（Distorted Risk Measure）。論文在博學者披肩懸崖環境、跟車環境以＠及包含星際爭霸遊戲的多個場景中進行了充分實驗，證明了RiskQ方法的有效性。
論文第一作者是沈思淇助理教授，通訊作者是符永銓副教授(國防科技大♀學)，由計算機科學與技術系2022級碩ξ 士生馬陳楠、2022級碩士生李超、劉偉權博士、王程教授、梅松竹副教授（國防♀科技大學）、劉新旺教授黛欧琳（國防科技大♀學）等合作完成。
6. ESSEN: Improving Evolution State Estimation for Temporal Networks using Von Neumann Entropy
本論文面向連續型動態圖表示詹欽棟學習提出了一種改善演化狀№態評估的網絡表示模型ESSEN（Evolution StateS awarE Network）。在連續型動≡態圖中，演化狀№態評估面臨兩大挑戰：（1）網絡演化多變世界馬匹商人性挑戰。不同的網絡呈現多樣的演化速↘度和狀態，無法一概而論；（2）網絡膨脹性挑戰。隨著時間的推移，網絡演化趨於復雜，鏈路大》幅增長，使得基於結構的評估方法在時間和空間上玩家強迫施放需要承擔巨大代價。本文首次在連續型動態圖領域引入了量子類比下的馮諾依曼熵進行演化狀態評估。具體來說，考慮到馮諾依曼熵在大型網絡中拉普拉斯矩斷裂的蜘蛛毒牙陣計算的高復雜度與動態網絡的▃多變性，本文對網絡拓撲結構進行投影，使用馮·諾依曼熵的近似推導式進行計算，使得熵的最終表達式與圖上度分布的二次多項式關聯，在較╱低的代價下實現演化狀態感知。同時，進一步提出了虛擬演化算法、熵感知註意力機制和混合熱力學專家評估模塊，提高模型對不同演化狀態下圖的泛化表示能♂力。實驗結果表明，模型在多個數據集上的直推式坠星和歸納式鏈路預測都取得了目前最優的性能表現。
論文第一作者是軟件工程系碩士伟德国际BETVlCTOR生黃祺贝尔斯塔弗堯，通訊作者是其導師張誌宏副教授，由軟件工程系碩士伟德国际BETVlCTOR生張瑩玥和Edwin Hancock教授（英國約克大『學）等合作完成。
7. Learning Re-sampling Methods with Parameter Attribution for Image Super-resolution
目前主流的深度採集奇怪的礦石超分模型主要關註網絡架構設計以及優化策略，忽略了對訓練數據的關註。事實上，大多數超分方法都是在整幅圖像上通過隨機采樣〓圖像塊對來訓練模型。然而，圖像內容的不均勻性使得訓練數據呈現不平︽衡分布，即易重構區域(平滑)占據了大部分數據，而難重構區域(邊緣或紋理)的樣〓本很少。基於這個現象，本論文考慮重新思考當前僅使用統一數據采樣方式訓練超分模型的範式，提出了一種簡單而有效的雙采樣參數歸因方法，其中雙采樣包括均勻采樣和反轉采▲▲樣，通過引入反轉采樣來調和不平衡的數據偏差。前◣者旨在保持數據的原始分布，後者旨在增強模型對困難樣本的特征提取能力。此外，引入積分梯度對兩種采樣數據交替訓練的模型中每個參數的貢獻進行歸因，從而篩選出不重要的參數進行進一步細化。通過逐步解耦參數的分╲配，超分模型可以學習到更緊湊的表示。在公開數據集上的實僕役之牙驗表明，本論文所提方法可以顯著提升基線模型的性能。
論文第一作者是計算〒機科學與技術系2020級博士生羅小同，通訊作者是曲延→雲教授，合作者還有謝源教授（華東師範大學）。
8. Self-Adaptive Motion Tracking against On-body Displacement of Flexible Sensors
柔性傳感器由於其靈活性和易於集成在可穿戴系統上的優點，在人體運動感附魔戒指知方面具有很大潛力。然而，由於可穿戴卐設備在實際使用場景中無法牢固佩戴在固定位置，傳感器的位置偏移是不可避免的，這種位移會導致復雜的數據分布變化，給後續的機器學習算法帶來重大挑戰。本論文提◆出了一種自適應運動跟蹤模型來解決這一挑戰，該自然之友模型包含三個組件：i) 輕量級、可學習↑的仿射變換層，其參數可以調整以有效地適應未知位阿密爾的衝擊法杖移導致的數據偏移；ii) 傅裏葉編碼LSTM網絡，可以達到更準去的模式識別水保衛者護足平；iii) 基於輔助回歸器的序列差異損失⌒函數，用於無監督地調整仿射變換參數。該模型在包含多個不同穿戴位置法力风暴护腿的數據集上進行了測試，實驗結果表明，所提方法在不同的設備穿戴Ψ 位置下都具有魯棒性。
論文第一作者是信息學院軟件工程系2022級博士生左乘◤旭，通訊作者是其導師郭詩輝副教授，由人工智能系2020級本科生方家衛、秦祎芃助理教授（卡迪夫⊙大學）合作完成。
