IDSIA: искусственный интеллект в Лугано с 1988 года

Анджело Далле Молле и его институты

Старейшее из описанных в этой главе научно-исследовательских учреждений было основано частным меценатом за восемь лет до того, как у кантона появился университет. Анджело Далле Молле (1908– 2002) — итальянский предприниматель из Венето, сколотивший состояние на артишоковом ликёре Cynar и направивший значительную его часть на поддержку исследований качества жизни и взаимоотношений человека и машины.¹ Он учредил в Швейцарии траст для финансирования исследований вне традиционных университетских структур и создал три института: IDSIA в Лугано, IDIAP в Мартиньи и ISSCo в Женеве. Сегодня все три интегрированы в местные академические учреждения.² Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA, Институт искусственного интеллекта Далле Молле) был основан в Лугано в 1988 г. Далле Молле, по словам института, «представлял себе мир, в котором технический прогресс и человеческое развитие совместно повышают качество жизни».³ На праздновании тридцатипятилетия института в сентябре 2023 г. его замысел был сформулирован как стремление к тому, чтобы машины понимали людей и людям больше не приходилось общаться с компьютерами двоичным кодом.⁴ IDSIA начинал как частный институт, финансируемый фондом Далле Молле. В 2000 г. он стал государственным научно-исследовательским институтом, аффилированным одновременно с USI и SUPSI. С тех пор он служит «мостом» между двумя учреждениями, работая «от фундаментальных до прикладных исследований» и воплощая свои знания в практических применениях.⁵ Его офисы расположены в Восточном кампусе USI и SUPSI в Лугано-Виганелло. В 2023 г. в институте работали 130 человек. Им руководили директор Андреа Эмилио Риццоли и три научных директора — Юрген Шмидхубер, Марко Заффалон и Чезаре Алиппи.⁶ Исследования института охватывают машинное обучение, нейронные сети, робототехнику, компьютерное зрение, вероятностные рассуждения, оптимизацию, вычислительную математику, кибербезопасность и взаимодействие человека и компьютера.⁷

Долгая краткосрочная память и история глубокого обучения

Научная репутация IDSIA основана прежде всего на работах Юргена Шмидхубера и его группы в области рекуррентных нейронных сетей. В 1997 г. Зепп Хохрайтер и Юрген Шмидхубер опубликовали в журнале Neural Computation статью «Long Short-Term Memory». В ней описывалась архитектура рекуррентной нейронной сети с ячейками памяти и вентилями, способная выявлять зависимости в длинных последовательностях данных, — задача, которую более ранние рекуррентные сети решить не могли, поскольку используемые при обучении сигналы ошибки со временем либо затухали, либо взрывообразно возрастали.⁸ Хохрайтер разработал анализ проблемы затухающего градиента в своей дипломной работе 1991 г. в Мюнхенском техническом университете, где его научным руководителем был тогда Шмидхубер. В последующие годы архитектура LSTM совершенствовалась в IDSIA докторантами и сотрудниками Шмидхубера, среди которых были Феликс Герс, Алекс Грейвс и другие; они добавили «вентиль забывания» («forget gate») и разработали методы обучения для разметки последовательностей.⁹

Практический прорыв произошёл в конце 2000-х годов. По собственному описанию Шмидхубера, LSTM, обученная методом коннекционистской временной классификации, разработанным его командой, в 2009 г. стала первой рекуррентной нейронной сетью, победившей в международных соревнованиях по распознаванию образов, а именно в распознавании слитного рукописного текста. В 2011 г. глубокая сеть прямого распространения его команды DanNet, обученная на графических процессорах, стала первой сетью такого рода, победившей в соревнованиях по компьютерному зрению, и, по описанию группы, продемонстрировала сверхчеловеческие результаты в соревновании по распознаванию дорожных знаков. В мае 2015 г. группа опубликовала Highway Network — очень глубокую сеть прямого распространения с сотнями слоёв; остаточная сеть (ResNet), опубликованная в декабре 2015 г. исследователями Microsoft, является, по описанию Шмидхубера, её версией с открытыми вентилями.¹⁰ В 2009–2012 гг. нейронные сети, разработанные в институте, победили в восьми международных соревнованиях по распознаванию образов и машинному обучению.¹¹

LSTM стала одной из наиболее широко используемых архитектур нейронных сетей 2010-х годов. На странице Шмидхубера перечислено её применение для распознавания речи на смартфонах Android, для машинного перевода в Google Translate и Facebook, в Siri и QuickType компании Apple, а также для ответов Alexa компании Amazon.¹² Эти утверждения исходят от автора метода. Они согласуются с публикациями соответствующих компаний, которые в середине 2010-х годов описывали основанные на LSTM системы в своих речевых и переводческих продуктах, прежде чем архитектура трансформера, представленная в 2017 г., вытеснила рекуррентные сети в большинстве языковых приложений.¹³ Распределение заслуг в истории глубокого обучения является предметом споров. Шмидхубер — один из заметных участников дискуссии о приоритете идей. Для целей настоящей книги достаточно отметить, что ряд методов, на которых основано современное машинное обучение, был разработан в Лугано и что работы института цитируются в стандартных обзорах этой области.¹⁴

Примечания

1. Википедия (на итальянском языке), «Angelo Dalle Molle», https://it.wikipedia.org/wiki/Angelo_Dalle_Molle (использовано в качестве крайнего средства) (родился в Местре; создатель артишокового аперитива Cynar в 1952 г.; основатель фонда Далле Молле в Лугано для исследований в области искусственного интеллекта). В статье годом смерти указан 2001 г., тогда как на странице самого института указаны годы 1908–2002 (см. ниже). ↩
2. SUPSI, IDSIA, «Istituto» (см. выше); USI, «Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA USI-SUPSI)», https://search.usi.ch/it/unita-organizzative/351. ↩
3. SUPSI, IDSIA, «Istituto» (см. выше) (основан в 1988 г. в Лугано Анджело Далле Молле, 1908–2002). ↩
4. «I 35 anni dell'IDSIA», laRegione, 27 сентября 2023 г., https://www.laregione.ch/cantone/ticino/1700339/servizi. ↩
5. SUPSI, IDSIA, «Istituto» (см. выше) (аффилирован с USI и SUPSI с 2000 г.); USI, страница подразделения IDSIA (см. выше) («bridge»; «from fundamental to applied research»). О преобразовании в государственный научно-исследовательский институт в 2000 г. говорится также в Википедии: «Dalle Molle Institute for Artificial Intelligence Research», https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research (использовано в качестве крайнего средства). ↩
6. laRegione, 27 сентября 2023 г. (см. выше). ↩
7. USI, страница подразделения IDSIA (см. выше), где перечислено более восьмидесяти областей компетенции. ↩
8. Sepp Hochreiter и Jürgen Schmidhuber, «Long Short-Term Memory», Neural Computation 9 (1997), № 8, 1735–1780, цит. по странице Юргена Шмидхубера о наиболее цитируемых нейронных сетях, https://people.idsia.ch/~juergen/most-cited-neural-nets.html (ссылка [LSTM1]). ↩
9. Felix A. Gers, Jürgen Schmidhuber и Fred Cummins, «Learning to Forget: Continual Prediction with LSTM», Neural Computation 12 (2000), № 10, 2451–2471 (ссылка [LSTM2] на той же странице, см. выше); A. Graves, S. Fernández, F. Gomez и J. Schmidhuber, «Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks», ICML 2006, Питтсбург, цит. по: Jürgen Schmidhuber, «Annotated History of Modern AI and Deep Learning» (2022), https://people.idsia.ch/~juergen/deep-learning-history.html, где описывается также дипломная работа Хохрайтера 1991 г. в Мюнхенском техническом университете под руководством Шмидхубера. О дипломной работе и научном руководстве говорится также в Википедии: «Jürgen Schmidhuber», https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber (использовано в качестве крайнего средства). ↩
10. Юрген Шмидхубер, личная страница в IDSIA, https://people.idsia.ch/~juergen/ («In 2009, the CTC-trained Long Short-Term Memory (LSTM) of his team was the first recurrent NN to win international pattern recognition competitions»; «In 2011, the DanNet of his team was the first feedforward NN to win computer vision contests, achieving superhuman performance»; Highway Net мая 2015 г. и ResNet декабря 2015 г.). ↩
11. Википедия, «Dalle Molle Institute for Artificial Intelligence Research» (см. выше) («won eight international competitions in pattern recognition and machine learning», 2009–2012 гг.). ↩
12. Шмидхубер, личная страница (см. выше). ↩
13. H. Sak, A. Senior, K. Rao, F. Beaufays и J. Schalkwyk (Google Speech Team), «Google voice search: faster and more accurate», Google Research Blog, сентябрь 2015 г., цит. по: Шмидхубер, «Annotated History» (см. выше), где применение LSTM в Google Translate также датируется 2016 г., а статья о трансформере Ashish Vaswani et al., «Attention Is All You Need», — 2017 г. ↩
14. См., например, Jürgen Schmidhuber, «Deep Learning in Neural Networks: An Overview», Neural Networks 61 (2015), 85–117 (ссылка [DL1] в: Шмидхубер, «Annotated History», см. выше), а также саму «Annotated History», где изложена его позиция в спорах о приоритете. ↩

Только для общего ознакомления. Настоящая статья не является юридической или налоговой консультацией, не заменяет консультацию по конкретному делу и не создаёт отношений между адвокатом и клиентом. Она отражает правовое положение по состоянию на октябрь 2026 г.