近年來，人工智能的發(fā)展如火如荼。人工智能不僅極大的便利了人們的生產(chǎn)生活，同時也成為科學探索與研究的有力工具。當前，各個學科領域都在以其各自的方式積極與人工智能領域相交叉、結合，以期能夠?qū)ふ倚碌闹卮罂茖W突破。

圖1. 人工智能與多領域的交叉融合藝術效果圖

在與人工智能交叉融合的道路上，作為基礎研究重要領域的光學走在了前列。目前光學與人工智能的結合主要包括兩個方面：

一個方面是以人工智能為主體，利用光子來賦能AI，用光子或光路代替?zhèn)鹘y(tǒng)電子計算來實現(xiàn)更高效率的人工智能計算；

另一個方面是以光學為主體，利用人工智能算法來加速光學器件的設計與優(yōu)化。

通過這兩方面相輔相成的發(fā)展，光學與人工智能相互促進，實現(xiàn)了兩個學科的合作共贏。

近期，來自美國斯坦福大學的Jonathan A. Fan團隊在 Nature Reviews Materials 上發(fā)表綜述文章 Deep neural networks for the evaluation and design of photonic devices，系統(tǒng)總結并梳理了應用人工智能算法來加速光子器件設計的發(fā)展歷史、研究方法和問題挑戰(zhàn)，同時根據(jù)近年來光學和人工智能領域的新進展，對這一領域的未來做了展望。

圖2（封面）.光子器件設計藝術效果圖

光子學在許多科學技術領域有著深刻的應用價值：

·集成光子系統(tǒng)使新型光源、通信和量子光處理器成為可能；

·亞波長尺度的金屬和介質(zhì)復合材料可以以可定制和的方式散射和束縛電磁波，實現(xiàn)光與物質(zhì)的相互作用；

·超材料和超表面可以實現(xiàn)精確的波前調(diào)控。

光子系統(tǒng)通常通過如下兩個問題中的一個來分析。

個是正問題：給定一個結構，它的電磁響應是什么?

這是兩個問題中比較容易的一個，可以用許多成熟的數(shù)值電磁仿真軟件或算法來解決。這些仿真可以準確地評估麥克斯韋方程組，但在評估大型光學結構和大批量仿真時，其所需要的計算資源非常大，計算時間和成本很高。

第二個是逆問題：給定一個理想的電磁響應，如何設計一個合適的光子結構?

由于解空間是非凸的，也就是說存在許多局部解，因此逆問題的解不能直接求出，并且求解過程非常具有挑戰(zhàn)性。解決這個問題的方法通常被框定為一種優(yōu)化練習，包括模擬退火、進化、目標優(yōu)先和伴隨變量算法。盡管目前人們在求解逆問題方面已經(jīng)取得了很大的進展，但在給定目標和約束條件下，確定的器件結構仍然具有很大的挑戰(zhàn)性。

實現(xiàn)機理

深度神經(jīng)網(wǎng)絡是一種通用的機器學習算法，它利用非線性處理層的串行疊加，實現(xiàn)對高度非線性數(shù)據(jù)關系的捕獲和建模。深層神經(jīng)網(wǎng)絡由多層神經(jīng)元串聯(lián)而成。神經(jīng)元是一個數(shù)學函數(shù),將一個或多個值作為其輸入,執(zhí)行對這些輸入值的加權和非線性操作并產(chǎn)生一個輸出值(如圖3)。

圖3. 神經(jīng)網(wǎng)絡原理示意圖

出于以下原因，深度神經(jīng)網(wǎng)絡有可能對光子技術的仿真和設計過程產(chǎn)生強烈影響。

首先，從機器人控制、藥物發(fā)現(xiàn)到圖像分類和語言翻譯，深度學習是許多領域中捕捉、插值和優(yōu)化高度復雜現(xiàn)象的、一種經(jīng)過驗證的方法。特別是考慮到最近數(shù)據(jù)科學領域的爆炸性進步，這些算法只會變得更加強大。

第二，深度學習是廣泛、開源的。從TensorFlow到PyTorch的軟件都是開源的，可以免費使用，這意味著任何人都可以開始實現(xiàn)和訓練神經(jīng)網(wǎng)絡。此外，機器學習社區(qū)的研究人員踐行著開放和共享的理念，使許多的算法公開可用并易于訪問。還有許多教育資源，包括大學課程和網(wǎng)絡課程，幫助研究人員了解神經(jīng)網(wǎng)絡的理論和實現(xiàn)。

第三，光子結構可以很容易利用廣泛的電磁仿真工具進行比較和評估。這些廣泛使用的電磁仿真工具可以量化結構的近場和遠場電磁響應，這有助于逆問題的解決。此外，電磁仿真工具還可以用來計算解析和數(shù)值梯度，例如介電擾動對理想價值的影響。正如我們將要討論的，這種梯度項的計算可以與深度學習相結合，從而產(chǎn)生全新而有效的逆設計模式，如全局拓撲優(yōu)化。電磁仿真軟件工具與深度學習編程包的實現(xiàn)，通過使用許多主流計算軟件自帶的應用程序編程接口，得以簡化。

第四，有廣泛可訪問的計算資源，可以執(zhí)行大量的電磁計算，這可以充分發(fā)揮深度學習方法的優(yōu)勢。云計算的普及使得任何有互聯(lián)網(wǎng)連接的人都可以并行處理許多電磁仿真計算。此外，新的計算硬件平臺的出現(xiàn)，如GPU和TPU計算平臺，將大大提高電磁仿真和神經(jīng)網(wǎng)絡訓練的計算效率和能力。

用神經(jīng)網(wǎng)絡建模的光子器件由兩種類型的標簽描述(如圖4)。

圖4. 基于神經(jīng)網(wǎng)絡設計光子器件機理總覽

類包括描述該裝置的物理變量，它包括該裝置的幾何形狀、材料和電磁激勵源。這些標簽由變量x描述。

第二類描述與光譜和性能特征范圍相對應的物理響應。這些標簽描述的變量y。在電磁學中,光學響應可以被描述為一個單值函數(shù)的物理變量,所以給定輸入x映射到一個y。例如,一個薄膜堆棧與一個固定的幾何和材料配置生成一個單一的透射譜。然而，其逆過程卻并不成立：對于電磁學中的大多數(shù)問題，給定的物理響應y映射到多個x。因此，根據(jù)網(wǎng)絡處理的設備標簽的類型，需要考慮不同類別的神經(jīng)網(wǎng)絡。在電磁學中，的兩類神經(jīng)網(wǎng)絡是判別網(wǎng)絡和生成網(wǎng)絡。

深度神經(jīng)網(wǎng)絡在解決光子學的正、逆設計問題上是一種性的力量。

在過去的幾年里，判別式網(wǎng)絡已經(jīng)被證明是麥克斯韋仿真工具的有效替代模型，可以學習和推廣納米尺度光學結構及其光學特性之間的復雜關系；

而通過學習光學器件數(shù)據(jù)的幾何特征和使用麥克斯韋仿真軟件進行無數(shù)據(jù)網(wǎng)絡訓練，生成網(wǎng)絡模型已被證明是自由空間光學器件逆設計的一種新框架。

優(yōu)缺點分析

基于神經(jīng)網(wǎng)絡的計算模型并不是傳統(tǒng)電磁仿真的通用替代工具，傳統(tǒng)的電磁仿真將繼續(xù)是解決大多數(shù)問題的主要工具，但它們具有互補的優(yōu)勢和缺點。

神經(jīng)網(wǎng)絡的主要缺點是，它們需要數(shù)千到數(shù)百萬個設備的大型訓練集，這是一個巨大的一次性計算成本。如果傳統(tǒng)的仿真和優(yōu)化方法可以用相當或更小的計算預算來解決問題，那么堅持傳統(tǒng)方法是更加明智的。

另一個方面，即使是訓練得網(wǎng)絡也不能保證準確性，當需要精確的物理計算時，也不應該用它來代替電磁仿真。應該指出,低維電磁系統(tǒng)所描述的一小部分設計參數(shù)通?？梢允褂靡恍┲T如機器學習和優(yōu)化包的經(jīng)典統(tǒng)計工具來建模和優(yōu)化。與深度網(wǎng)絡的訓練方法相比，該方法不需要進行大量的超參數(shù)調(diào)整，且訓練效果良好。

基于神經(jīng)網(wǎng)絡的模型也有許多優(yōu)點，使它們無二地適合于許多問題。

首先，訓練有素的神經(jīng)網(wǎng)絡比傳統(tǒng)的仿真運行速度快幾個數(shù)量級，在仿真時間過長的情況下是理想的替代方法。

其次，神經(jīng)網(wǎng)絡的回歸能力超過了經(jīng)典的數(shù)據(jù)擬合方法，可以擴展到復雜的高維系統(tǒng)，因為神經(jīng)網(wǎng)絡可以容納數(shù)千個具有可調(diào)參數(shù)的神經(jīng)元。

第三，神經(jīng)網(wǎng)絡在模擬和設計許多利用相關基礎物理的光學器件變體方面的計算效率特別高。從需要不同輸入模式條件的光柵耦合器到需要不同振幅和相位特性的超表面部分，這些器件變體都可以很容易地通過訓練單個條件神經(jīng)網(wǎng)絡來共同設計。

第四，逆設計的神經(jīng)網(wǎng)絡方法可以產(chǎn)生整體性能更好的電磁器件。

圖5. 基于神經(jīng)網(wǎng)絡設計光子器件機理總覽

如圖5a所示是一種無條件深度神經(jīng)網(wǎng)絡，它從有限的光學器件參數(shù)訓練數(shù)據(jù)集中學習參數(shù)空間的區(qū)域，并通過采樣找到更好的器件設計參數(shù)。

而如圖5b所示的條件神經(jīng)網(wǎng)絡可以為訓練集中的數(shù)據(jù)插入的條件參數(shù)標簽從而生成新的器件設計參數(shù)分布。比如在這個原理圖中，條件神經(jīng)網(wǎng)絡可以通過學習工作波長在800和1000納米的訓練集器件的分布，從而內(nèi)插工作在900納米的器件的分布。

然而在圖5c所示的經(jīng)典數(shù)據(jù)擬合、優(yōu)化等方法只能用于搜索訓練網(wǎng)絡中的潛在空間以尋找器件設計參數(shù)，并且其搜索空間被限制在訓練集的參數(shù)分布范圍內(nèi)。

此外，全局拓撲優(yōu)化神經(jīng)網(wǎng)絡已經(jīng)被證明可以取代傳統(tǒng)的基于梯度的優(yōu)化器。因此，基于神經(jīng)網(wǎng)絡的優(yōu)化的持續(xù)進步有望帶來更好、計算效率更高的設計算法。

未來展望

盡管目前基于神經(jīng)網(wǎng)絡進行光子器件設計已經(jīng)取得了很大進展（如圖6所示），但是展望未來，Jonathan A. Fan認為人們?nèi)匀恍枰喾矫娴膭?chuàng)新來推動光子器件深度學習算法的能力，以實現(xiàn)復雜光學器件的逆設計。

圖6. 基于神經(jīng)網(wǎng)絡設計光子器件的歷史發(fā)展時間線

首先，雖然通用的機器學習算法將繼續(xù)在解決光子學問題中發(fā)揮作用，但人們需要需要發(fā)展將麥克斯韋方程組的基礎物理結構與機器學習緊密結合的新概念。將機器學習與基于物理的仿真工具相結合的全局拓撲優(yōu)化網(wǎng)絡就是這樣一個例子，它展示了新的混合算法如何增強神經(jīng)網(wǎng)絡的能力。最近也有證據(jù)表明，神經(jīng)網(wǎng)絡可以被訓練用于求解微分方程。為了將物理與神經(jīng)網(wǎng)絡相結合，人們需要在網(wǎng)絡架構、訓練程序和損失功能工程以及獨立或共同使用判別式和生成式網(wǎng)絡的全新方法方面有新的創(chuàng)新。基于物理計算的無數(shù)據(jù)訓練用于訓練神經(jīng)網(wǎng)絡，將成為利用機器學習解決光子問題的高效方法。

其次，人們需要開發(fā)運行時間比傳統(tǒng)的全波求解器快得多的新的電磁仿真工具。快速求解器是必需的，因為隨著設備復雜性的增加，需要更大的監(jiān)督學習訓練集。未來，特定應用的電磁解算器將在深度學習-光子問題的超高速解算器中扮演重要角色。一種方法是利用神經(jīng)網(wǎng)絡增強的預條件對現(xiàn)有的麥克斯韋求解器進行擴充。通過一種神經(jīng)網(wǎng)絡，它可以預測現(xiàn)有電磁問題的近似解，可以將該解作為求解器的起點，從而大大加快計算速度。一些計算效率高的計算結構散射特性的專門算法，如積分方程解和轉(zhuǎn)移矩陣法，也值得仔細研究。

第三，從數(shù)據(jù)使用和用戶交互的角度來看，用于解決光子問題的神經(jīng)網(wǎng)絡的訓練和改進需要更好地簡化。目前，每提出一個新的機器學習問題，數(shù)據(jù)科學家都需要從頭開始訓練和微調(diào)一個神經(jīng)網(wǎng)絡，這種方法費時費力，難以大規(guī)模推廣和應用。然而，在最近的一個實驗中，從一個可以預測同心圓殼散射體散射譜的訓練網(wǎng)絡中獲得的網(wǎng)絡權值利用遷移學習轉(zhuǎn)移到一個擬預測介質(zhì)堆光譜特性的網(wǎng)絡中，從而提高了后者的訓練精度。因此，神經(jīng)網(wǎng)絡遷移學習的應用，將大大有助于自動化基于光子的機器學習算法的設置和訓練程。

最后，Jonathan A. Fan呼吁光學領域的科學家和研究人員從計算機科學社區(qū)文化中汲取靈感，參與共建一種更加開放的共享文化。在計算機科學領域，人工智能技術的極大進步和發(fā)展，在某種程度上可以歸因于計算機科學家愿意通過解決同一個問題來公開分享算法和基準方法。在計算機科學共享精神的啟發(fā)下，Jonathan A. Fan研究團隊已經(jīng)開發(fā)了用于共享納米光子系統(tǒng)的器件設計和逆設計代碼的在線知識庫MetaNet（http://metanet.stanford.edu/）。

截至本文發(fā)表時，MetaNet已經(jīng)有超過100,000個自由形式的元化結構的設計文件，以及用于局部和全局拓撲優(yōu)化的代碼。Jonathan A. Fan希望，通過光子社區(qū)內(nèi)的持續(xù)分享與交流，人們能夠就需要解決的重要設計問題、開放源代碼訓練集和基本代碼制定達成一致，這樣人們就可以在彼此的算法方法、基礎上進行下一步的迭代、優(yōu)化和提高。這樣，人們就可以通過合作有效地將光學器件的設計、優(yōu)化及發(fā)展推向一個新的階段。

結語

在這篇綜述文章中，首先，Jonathan A. Fan團隊概述了判別式和生成式神經(jīng)網(wǎng)絡，如何設計實現(xiàn)人工神經(jīng)網(wǎng)絡，以及如何通過不同的數(shù)據(jù)結構類型來建模求解不同的電磁問題。

其次，文章討論了深度判別網(wǎng)絡作為電磁求解的模型如何加速了正、逆問題的求解。

第三，文章詳細介紹了生成對抗網(wǎng)絡如何成為逆向設計的自然框架，從而實現(xiàn)納米光子器件的全局優(yōu)化。

最后，文章將深度學習方法與電磁問題的經(jīng)典建模仿真工具進行了比較和對比，探討了未來研究的路徑，并提出了加速該領域進展的研究實踐建議。

對于這個領域內(nèi)的研究人員或者想要進入這個領域的初學者，這篇綜述提供了涵蓋了從微波到光頻率的電磁技術的基本機器學習概念的教程介紹和當前研究發(fā)展的全面指南。