IDSIA：1988年以來盧加諾的人工智能

安傑洛·達勒·莫萊及其研究所

在本章介紹的研究機構中，歷史最悠久的一家是由一位私人捐助者創立的，其創立時間比該州擁有大學還早了八年。安傑洛·達勒·莫萊（1908–2002）是一位來自威尼托的義大利企業家，他憑藉洋薊利口酒Cynar發家，並將其財富的大部分用於促進有關生活品質以及人與機器關係的研究。¹他在瑞士設立了一個信託基金，用於資助傳統大學體系之外的研究，並建立了三家研究所：位於盧加諾的IDSIA、位於馬蒂尼的IDIAP，以及位於日內瓦的ISSCo。如今，這三家研究所均已併入各自所在地的學術機構。²達勒·莫勒人工智慧研究所（IDSIA）於1988年在盧加諾成立。用該研究所的話來說，達勒·莫勒「設想了一個技術進步與人類發展共同提升生活品質的世界」。³在2023年9月慶祝該研究所成立三十五週年之際，他的願景被概括為：讓機器理解人類，從而使人們不再需要用二進位代碼與電腦交流。⁴IDSIA最初是由達勒·莫勒基金會資助的私立研究所。2000年，它成為同時隸屬於瑞士義大利語區大學（USI）和瑞士義大利語區應用科技大學（SUPSI）的公立研究機構。自此，它在兩所院校之間扮演「橋樑」的角色，開展「從基礎研究到應用研究」的工作，並將其知識轉化為實際應用。⁵其辦公地點位於盧加諾-維加內洛（Lugano-Viganello）的 USI 與 SUPSI 東校區。2023年，該研究所共有130名員工，由所長安德烈亞·埃米利奧·里佐利（Andrea Emilio Rizzoli）以及三位科學主任尤爾根·施密德胡伯（Jürgen Schmidhuber）、馬可·扎法隆（Marco Zaffalon）和切薩雷·阿利皮（Cesare Alippi）領導。⁶該研究所的研究涵蓋機器學習、神經網路、機器人技術、電腦視覺、概率推理、優化、計算數學、網路安全以及人機互動。⁷

長短期記憶與深度學習的歷史

IDSIA 的學術聲譽首先奠基於Jürgen Schmidhuber及其團隊關於循環神經網路的研究之上。1997年，Sepp Hochreiter與Jürgen Schmidhuber在《Neural Computation》期刊上發表了題為「Long Short-Term Memory」（長短期記憶，LSTM）。該論文描述了一種具備記憶單元與閘控機制的循環神經網路架構，能夠學習長資料序列中的依賴關係；而早期的循環網路無法解決此問題，因為訓練中使用的誤差訊號會隨時間推移而消失或爆炸。⁸霍赫賴特於1991年在慕尼黑工業大學完成的畢業論文中，提出了對梯度消失問題的分析，當時施密德胡伯是他的指導教授。此後數年間，Schmidhuber 的博士生與合作者（包括 Felix Gers、Alex Graves 等人）在 IDSIA 對 LSTM 架構進行了改進，增加了「遺忘門」，並開發了用於序列標註的訓練方法。⁹

實務上的突破出現在2000年代末。據施密德胡伯本人所述，2009年，一個採用其團隊聯結主義時間分類方法訓練的LSTM，成為首個在國際模式識別競賽（連筆手寫識別）中獲勝的循環神經網路。2011年，其團隊在圖形處理器上訓練的深度前饋網路DanNet，成為首個贏得電腦視覺競賽的此類網路，並在一項交通標誌識別競賽中，展現了該團隊所稱的超越人類的表現。2015年5月，該團隊發表了Highway Network，這是一種擁有數百層的極深前饋網路；根據施密德胡伯（Schmidhuber）的描述，微軟研究人員於2015年12月發表的殘差網路（ResNet）是其「門常開」版本。¹⁰2009年至2012年間，該研究所開發的神經網路贏得了八項國際模式識別與機器學習競賽。¹¹

LSTM 成為 2010 年代應用最廣泛的神經網路架構之一。Schmidhuber 的網頁列舉了它在以下方面的應用：Android 智慧型手機上的語音辨識、Google 翻譯與 Facebook 的機器翻譯、Apple 的 Siri 和 QuickType，以及 Amazon Alexa 的回應系統。¹²這些說法來自該方法的發明者本人，且與相關公司的出版物相符：這些公司在2010年代中期便描述了其語音與翻譯產品中基於LSTM的系統，此後於2017年提出的Transformer架構，已在大多數語言應用中取代了循環神經網路。¹³深度學習史上的功勞歸屬存在爭議，施密德胡伯（Schmidhuber）一直是相關思想優先權之爭的重要參與者。就本書而言，只需指出：現代機器學習所依賴的某些方法是在盧加諾開發的，而且該研究所的研究成果在該領域的標準論述中均有引用。¹⁴

註釋

1. 維基百科（義大利語），“Angelo Dalle Molle”，https://it.wikipedia.org/wiki/Angelo_Dalle_Molle（作為最後手段查閱）（生於梅斯特雷；1952年創制洋薊開胃酒Cynar；在盧加諾創立Dalle Molle基金會，從事人工智慧研究）。該條目記載的逝世年份為2001年，而該研究所自身的網頁則記載為1908–2002年（見下文）。 ↩
2. SUPSI、IDSIA，「Istituto」（見上文）；USI，「達勒莫勒人工智慧研究所（IDSIA USI-SUPSI）」，https://search.usi.ch/it/unita-organizzative/351。 ↩
3. SUPSI，IDSIA，「Istituto」（見上文）（1988年由安傑洛·達勒·莫萊（Angelo Dalle Molle，1908–2002）於盧加諾創立）。 ↩
4. 「IDSIA 35週年」，laRegione，2023年9月27日，https://www.laregione.ch/cantone/ticino/1700339/servizi。 ↩
5. SUPSI，IDSIA，「研究所」（見上文）（自2000年起隸屬於USI和SUPSI）；USI，IDSIA單位頁面（見上文）（「橋樑」；「從基礎研究到應用研究」）。關於2000年轉為公立研究機構一事，亦可參見維基百科，「Dalle Molle人工智慧研究所」，https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research（作為最後手段查閱）。 ↩
6. laRegione，2023年9月27日（見上文）。 ↩
7. USI，IDSIA單位頁面（見上文），列出了八十多個專業領域。 ↩
8. Sepp Hochreiter 與 Jürgen Schmidhuber，《Long Short-Term Memory》，《Neural Computation》第9卷（1997年），第8期，1735–1780頁，引自Jürgen Schmidhuber關於被引用次數最多神經網路的網頁，https://people.idsia.ch/~juergen/most-cited-neural-nets.html（參考文獻[LSTM1]）。 ↩
9. Felix A. Gers、Jürgen Schmidhuber 與 Fred Cummins，「《學習遺忘：利用 LSTM 進行持續預測》」，《神經計算》第 12 卷（2000 年），第 10 期，第 2451–2471 頁（同一網頁上的參考文獻 [LSTM2]，見上文）；A. Graves、S. Fernández、F. 戈麥斯與 J. 施密德胡伯，「聯結主義時間分類：運用循環神經網路為未分段序列資料標註」，ICML 2006，匹茲堡，引自尤爾根·施密德胡伯，「現代人工智慧與深度學習的註釋史」（2022），https://people.idsia.ch/~juergen/deep-learning-history.html，該文亦述及Hochreiter於1991年在慕尼黑工業大學由Schmidhuber指導完成的畢業論文。該論文及指導關係亦見於Wikipedia，“Jürgen Schmidhuber」，https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber（作為最後手段查閱）。 ↩
10. Jürgen Schmidhuber，IDSIA個人主頁，https://people.idsia.ch/~juergen/（“In 2009年，其團隊透過CTC訓練的長短期記憶（LSTM）成為首個在國際模式識別競賽中奪冠的循環神經網路」；「2011年，其團隊開發的DanNet成為首個在電腦視覺競賽中奪冠的前饋神經網路，並展現出超越人類的表現」；2015年5月的Highway Net及2015年12月的ResNet）。 ↩
11. 維基百科，「達勒莫爾人工智慧研究所」（見上文）（「在模式辨識與機器學習領域贏得八項國際競賽」，2009–2012年）。 ↩
12. Schmidhuber，個人主頁（見上文）。 ↩
13. H. Sak、A. Senior、K. Rao、F. Beaufays 和 J. Schalkwyk（Google 語音團隊），“Google 語音搜尋：更快且更精準”，Google Research Blog，2015年9月，引自 Schmidhuber，“註釋歷史」（見上文），該文亦將 LSTM 在 Google 翻譯中的應用時間定為 2016 年，並將 Ashish Vaswani 等人關於 Transformer 的論文〈Attention Is All You Need〉定為 2017 年。 ↩
14. 參見例如Jürgen Schmidhuber，《神經網路中的深度學習：概述》，《神經網路》第61卷（2015年），第85–117頁（Schmidhuber，《《註釋史》中的參考文獻[DL1]，見上文），以及《註釋史》本身，其中闡述了他對優先權之爭的看法。 ↩

僅供一般參考。本文不構成法律或稅務意見，不能替代針對個案的諮詢，亦不建立律師與客戶之間的委託關係。本文反映截至 十月 2026 的法律狀況。