文章圖片
文章圖片
文章圖片
機(jī)器之心報(bào)道
機(jī)器之心編輯部
一般來(lái)說(shuō) ， 字越少事情越大 。
數(shù)學(xué)領(lǐng)域的研究成果因其高門(mén)檻很少能獲得廣泛的關(guān)注 ， 而這一篇卻足足達(dá)到了 80 萬(wàn)以上的瀏覽量 。
這是一篇非常硬核的數(shù)學(xué)證明論文 ， 來(lái)自華人學(xué)者 Yuansi Chen ， 解決了至今已有 36 年的 Talagrand 卷積猜想的數(shù)學(xué)問(wèn)題 ， 對(duì)于現(xiàn)代計(jì)算機(jī)科學(xué) ， 機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域有深遠(yuǎn)的基礎(chǔ)意義 。
Yuansi Chen ， ETH D-MATH 統(tǒng)計(jì)研討會(huì)副教授 ， 杜克大學(xué)統(tǒng)計(jì)科學(xué)系助理教授 。 在蘇黎世 ETH 的 ETH 數(shù)據(jù)科學(xué)基?。 ‥TH-FDS）擔(dān)任博士后研究員 。 2023 年獲得斯隆研究獎(jiǎng) 。 他的研究方向聚焦于統(tǒng)計(jì)機(jī)器學(xué)習(xí)、MCMC 采樣算法、優(yōu)化方法、域適應(yīng)性以及計(jì)算神經(jīng)科學(xué)中的統(tǒng)計(jì)挑戰(zhàn) 。
論文標(biāo)題：Talagrand's convolution conjecture up to loglog via perturbed reverse heat 論文鏈接：https://arxiv.org/abs/2511.19374該論文證明了在布爾超立方體上的熱半群 (Pτ) 下 ， 任何非負(fù)函數(shù) f:{?11 n→?+ 都表現(xiàn)出比馬爾可夫不等式更好的統(tǒng)一尾部界限 。 具體來(lái)說(shuō) ， 對(duì)于任何 ηe3 和 τ0，
其中 μ 表示布爾超立方體 {?11? 上的均勻測(cè)度 ， 而 c_τ 是僅依賴(lài)于 τ 的常數(shù) 。 該結(jié)果在無(wú)維度依賴(lài)的情形下解決了 Talagrand 的卷積猜想 ， 只額外損失一個(gè) log log η 因子 。 其證明依賴(lài)于布爾超立方體上反向熱過(guò)程的若干性質(zhì) ， 并基于對(duì)該反向熱過(guò)程進(jìn)行精心設(shè)計(jì)的擾動(dòng)而構(gòu)造出的耦合方法 。
也就是說(shuō) ， 除了額外的 log log 因子外 ， Talagrand 卷積猜想的主要問(wèn)題已經(jīng)被解決 。
Zhipeng Huang 也進(jìn)行了轉(zhuǎn)發(fā) ， 他也在思考這一數(shù)學(xué)領(lǐng)域的進(jìn)展對(duì)大語(yǔ)言模型訓(xùn)練的潛在影響 。
背景與問(wèn)題
Talagrand 卷積猜想于 1989 年首次提出 ， 代表了概率論和泛函分析領(lǐng)域最重要的開(kāi)放問(wèn)題之一 。 該猜想關(guān)注熱半群應(yīng)用于布爾超立方體 {?1 1? 上的 L? 函數(shù)時(shí)的正則化性質(zhì) 。 這種離散幾何結(jié)構(gòu)在理論計(jì)算機(jī)科學(xué)、離散數(shù)學(xué)和統(tǒng)計(jì)物理中都至關(guān)重要 。
熱半群 (P?) 充當(dāng)一個(gè)「平滑」算子 ， 通過(guò)與偏置硬幣測(cè)度進(jìn)行卷積來(lái)定義 。 對(duì)于布爾超立方體上的函數(shù) f ， P?f (x) 表示 f 在一個(gè)點(diǎn)的期望值 ， 該點(diǎn)是通過(guò)以 (1?e??)/2 的概率獨(dú)立翻轉(zhuǎn) x 的每個(gè)坐標(biāo)而獲得的 。 雖然強(qiáng)大的超收縮性結(jié)果保證了對(duì) p1 的 L? 函數(shù)的強(qiáng)正則化 ， 但 L? 函數(shù)的行為仍然是個(gè)謎 。
Talagrand 猜想預(yù)測(cè) ， 將此平滑算子應(yīng)用于任何 L? 函數(shù)會(huì)顯著改善尾部衰減 —— 具體來(lái)說(shuō) ， 即概率 P (Pτf (X)η‖f‖?) 應(yīng)以 1/(η√log η) 的速度衰減 ， 并且在所有維度 n 和函數(shù) f 上都一致 。 這種與維度無(wú)關(guān)的性質(zhì)將代表一種普遍的正則化效應(yīng) ， 與問(wèn)題的復(fù)雜性無(wú)關(guān) 。 在這項(xiàng)工作之前 ， 尾部概率是否在 η → ∞ 時(shí)消失仍然是一個(gè)開(kāi)放問(wèn)題 。
本文為 Talagrand 猜想建立了第一個(gè)與維度無(wú)關(guān)的上限 ， 證明了：
定理 1：對(duì)于每個(gè) τ0 ， 存在一個(gè)通用常數(shù) c0 ， 使得對(duì)于每個(gè)非負(fù)函數(shù) f: {?1 1? → R? 且 ‖f‖? ≠ 0 ， 以及任何 ηe3 ，
此結(jié)果解決了 Talagrand 關(guān)于
是否在 η → ∞ 時(shí)消失的基本問(wèn)題 ， 提供了肯定的答案 。 雖然該界限比猜想的最優(yōu)速率 1/(η√log η) 多了一個(gè) log log η 因子 ， 但它代表了對(duì)平凡馬爾可夫界限 1/η 的巨大改進(jìn) ， 并使猜想的完全解決指日可待 。
方法：擾動(dòng)反向熱過(guò)程
Yuansi Chen 的方法的技術(shù)核心在于通過(guò)他所謂的「擾動(dòng)逆熱過(guò)程」構(gòu)建了兩個(gè)馬爾可夫跳躍過(guò)程之間復(fù)雜的耦合 。 這種構(gòu)建代表了離散隨機(jī)分析中一項(xiàng)重大的方法學(xué)進(jìn)步 。
該方法首先定義了前向和反向跳躍過(guò)程 。 前向過(guò)程 (U?) 始于定律 νf = f?μ ， 其坐標(biāo)以 1/2 的速率獨(dú)立翻轉(zhuǎn) 。 反向過(guò)程 (V?) 是 U? 的時(shí)間反演 ， 它變?yōu)闀r(shí)間非均勻的 ， 其跳躍速率取決于一個(gè)「得分函數(shù)」S?(x) := (x???f (x))/f (x) 。 至關(guān)重要的是 ， 這個(gè)得分函數(shù)充當(dāng)了高斯設(shè)置中福爾默漂移的離散模擬 ， 并保持了基本的鞅性質(zhì) 。
核心創(chuàng)新在于構(gòu)建一個(gè)耦合 (V? W?) ， 其中兩個(gè)過(guò)程共享相同的泊松隨機(jī)測(cè)度以實(shí)現(xiàn)最大相關(guān)性 ， 但 W? 在其跳躍速率中引入了一個(gè)精心設(shè)計(jì)的擾動(dòng) 。 與可以直接擾動(dòng)漂移的連續(xù)設(shè)置不同 ， 離散設(shè)置需要通過(guò)狀態(tài)依賴(lài)和坐標(biāo)依賴(lài)的因子 δ?(x) 來(lái)擾動(dòng)跳躍速率 。 這種擾動(dòng)經(jīng)過(guò)校準(zhǔn) ， 以確保 W? 保持在布爾超立方體上 ， 同時(shí)實(shí)現(xiàn)所需的耦合性質(zhì) 。
技術(shù)上 ， 證明結(jié)合了：
跳過(guò)程的鞅不等式 類(lèi) Duhamel 展式 p - 偏置的 Fourier／Parseval 分析 對(duì)梯度／得分的精細(xì)控制這些工具共同消除了此前方法中不可避免的維度依賴(lài)因素 ， 使得在布爾超立方體上實(shí)現(xiàn)「無(wú)維度」控制成為可能 。
在離散結(jié)構(gòu)中：
噪聲是跳躍型而非連續(xù) Gaussian OU 流 對(duì)稱(chēng)性較弱 稀有區(qū)域（rare regimes）中必須引入更強(qiáng)的擾動(dòng) 分布在奇異點(diǎn)附近缺乏連續(xù)高斯半群的光滑調(diào)和結(jié)構(gòu)因此當(dāng)前方法不可避免地留下一個(gè) loglog η 的殘差損失 。
從連續(xù)空間到離散空間的適應(yīng)帶來(lái)了幾個(gè)根本性的挑戰(zhàn) ， Yuansi Chen 通過(guò)創(chuàng)新技術(shù)解決了這些挑戰(zhàn)：
跳躍速率與漂移擾動(dòng)：直接的漂移擾動(dòng)會(huì)將過(guò)程移出 {-1 1? ， 因此需要開(kāi)發(fā)跳躍速率擾動(dòng)方法 。 這導(dǎo)致了更復(fù)雜的狀態(tài)依賴(lài)動(dòng)力學(xué) ， 但保留了離散結(jié)構(gòu) 。 L? 距離問(wèn)題：在高斯空間中有效的標(biāo)準(zhǔn) L? 界在布爾超立方體上變得有問(wèn)題 。 耦合構(gòu)建專(zhuān)門(mén)設(shè)計(jì)為避免依賴(lài)此類(lèi)界 ， 而是通過(guò)一種新穎的多階段方法利用總變差控制 。 多階段杜阿梅爾公式：一項(xiàng)關(guān)鍵創(chuàng)新涉及在多個(gè)時(shí)間間隔而不是單個(gè)階段應(yīng)用杜阿梅爾公式 。 這種多階段方法被證明對(duì)于通過(guò)有效利用 Pτ 隨時(shí)間的平滑性質(zhì)來(lái)獲得無(wú)維度界限至關(guān)重要 。該證明建立了兩個(gè)關(guān)鍵的耦合性質(zhì)：V? 和 W? 律之間的總變差控制（引理 2） ， 以及一個(gè)近似單調(diào)耦合性質(zhì) ， 確保 log Pτf (W?) 的大值以高概率對(duì)應(yīng)于 log Pτf (V?) 的更大值（引理 3） 。
總結(jié)
為布爾熱半群提供了幾乎最優(yōu)、無(wú)維度依賴(lài)的尾部正則化結(jié)果； 引入了一種全新的「反向過(guò)程耦合」技術(shù) ， 可應(yīng)用于離散隨機(jī)系統(tǒng)； 提升了布爾函數(shù)反集中（anti-concentration）分析的工具箱； 在離散采樣、組合結(jié)構(gòu)上的 score-based 生成模型等領(lǐng)域具有潛在外溢效應(yīng) 。這項(xiàng)工作代表了離散隨機(jī)分析領(lǐng)域的一項(xiàng)里程碑式成就 ， 成功地將復(fù)雜的連續(xù)空間技術(shù)與離散概率相結(jié)合 。 該界限的無(wú)維度性質(zhì)對(duì)理論計(jì)算機(jī)科學(xué)具有直接影響 ， 其中布爾超立方體在學(xué)習(xí)理論、復(fù)雜性理論和近似算法中作為基本結(jié)構(gòu) 。
也許最重要的是 ， 這篇論文為徹底解決塔拉格朗猜想奠定了一條清晰的道路 。 剩余的 log log η 因子代表了未來(lái)研究的明確目標(biāo) 。 作者指出 ， 對(duì)耦合過(guò)程距離的更精細(xì) L? 界或替代擾動(dòng)設(shè)計(jì)可能會(huì)消除這個(gè)最終因子 。
與機(jī)器學(xué)習(xí)中基于得分的生成模型的明確聯(lián)系表明了潛在的跨學(xué)科影響 ， 其中來(lái)自離散得分函數(shù)和時(shí)間反演的見(jiàn)解可以為離散生成模型的理論基礎(chǔ)提供信息 。
對(duì)于計(jì)算機(jī)科學(xué)家和 ML 研究員來(lái)說(shuō) ， 這篇論文不僅僅是一個(gè)不等式的證明 ， 它：
1. 升級(jí)了工具箱： 提供了處理高維離散空間概率分布的新工具 。
2. 連接了生成模型： 其證明核心（反向熱流）與當(dāng)前的 AI 熱點(diǎn)（擴(kuò)散模型）在數(shù)學(xué)本質(zhì)上相通 。
3. 量化了正則化： 也就是為什么「平滑 / 加噪」總是能帶來(lái)「好」的分布性質(zhì) 。
該論文將一個(gè)數(shù)十年懸而未決的開(kāi)放問(wèn)題轉(zhuǎn)變?yōu)橐粋€(gè)擁有明確后續(xù)步驟的活躍領(lǐng)域 ， 同時(shí)增進(jìn)了對(duì)離散結(jié)構(gòu)上正則化效應(yīng)的基本理解 。 這項(xiàng)工作既是一個(gè)重要的解決方案 ， 引導(dǎo)未來(lái)深入探索連續(xù)和離散隨機(jī)分析之間豐富的相互作用 。
【36年卷積猜想被解決，華人唯一作者，AI或受益】更多信息 ， 請(qǐng)參閱原論文 。
推薦閱讀
- 剛剛，GPT-5首次通過(guò)「哥德?tīng)枩y(cè)試」！破解三大數(shù)學(xué)猜想
- 能耗降低100倍！美國(guó)開(kāi)發(fā)光子AI芯片——直接利用光做卷積！
- 剛剛，谷歌「IMO金牌」模型上線Gemini，數(shù)學(xué)家第一時(shí)間證明猜想
- 北大、北郵、華為開(kāi)源純卷積DiC：3x3卷積實(shí)現(xiàn)SOTA性能比DiT快5倍
- TikTok切入YouTube的客廳腹地，我有四個(gè)猜想
- 華為Mate80系列：發(fā)布時(shí)間猜想，預(yù)計(jì)9月發(fā)布！
- 華為Mate70系列再迎曝光：猜想圖已接近真機(jī)，功能特性也更清晰！
- 2036年是世界末日嗎,人類(lèi)能活過(guò)2036年嗎
- 1936年第四屆冬奧會(huì)在哪里舉行的,1936年第四屆冬奧會(huì)在哪里舉行?
- 1936年考古發(fā)現(xiàn)的良渚遺址位于哪個(gè)市,良渚古城遺址在哪里？