Ilya Sutskever

russisch-kanadischer Informatiker und KI-Unternehmensmitgründer

Ilya Sutskever (* 1984 in Gorki, Sowjetunion) ist ein kanadischer Informatiker und Firmenmitgründer von OpenAI.

Ilya Sutskever (rechts) mit Sam Altman (Mitte), 2023

Werdegang Bearbeiten

Sutskevers Eltern wanderten mit ihm nach Israel aus, als er fünf Jahre alt war. Dort besuchte er die Schule und absolvierte von 2000 bis 2002 Fernstudiengänge der Open University of Israel. Nach der Übersiedelung der Familie nach Kanada studierte er Mathematik an der University of Toronto mit dem Abschluss als Bachelor im Jahr 2005. Anschließend studierte er Informatik und wurde 2012 bei Geoffrey Hinton mit der Dissertation Training Recurrent Neural Networks zum Ph.D. promoviert.[1][2] Es folgten zwei Monate als Postdoc an der Stanford University bei Andrew Ng. Dann kehrte er an die University of Toronto zurück und trat der Firma DNNResearch bei. Die Firma wurde kurz danach von Google übernommen und Sutskever arbeitete daraufhin für die Abteilung Google Brain. Ende 2015 überzeugte ihn Elon Musk, dass sich Google zu wenig um die Sicherheitsrisiken der künstlichen Intelligenz kümmere und er besser Mitgründer der Firma OpenAI werde.[3] Sutskever folgte diesem Ratschlag.[4]

2015 wurde er in der MIT Technology Review als einer der „35 Visionäre unter 35“ (Jahren) genannt.[5] 2018 wirkte er als Vortragender an der Nvidia-Ntech- und der AI-Frontiers-Conference.[6] Ilya Sutskever weist 2023 einen h-Index von 81 auf. Seine Arbeiten wurden über 400.000 Mal zitiert.[7]

Wirken Bearbeiten

Sutskever arbeitet im Bereich der künstlichen Intelligenz in den Bereichen Maschinelles Lernen, künstliche neuronale Netze, Deep Learning, Backpropagation, Generativer vortrainierter Transformer, Bestärkendes Lernen und KI-Ausrichtung.

An der University of Toronto war er zusammen mit seinem Doktorvater Geoffrey Hinton an der Entwicklung des neuralen Netzes AlexNet beteiligt, welches einen ImageNet-Wettbewerb mit der niedrigsten Fehlerrate bei Objekterkennungen in hochauflösenden Bildern gewann. Das dafür verwendete faltende neuronale Netz war optimal in mehreren Schichten strukturiert, um die damals besten Ergebnisse bei Objekterkennungen zu erzielen.[8] AlexNet wird als Durchbruch zur späteren Weiterentwicklung von Deep Learning betrachtet.[9]

Bekannt wurde Sutskever durch Arbeiten bei Google, wobei ein neues neuronales Netzmodell zur Erzeugung von natürlich empfundenen Textformulierungen und für Textübersetzungen geschaffen wurde. Die verwendete Technik trägt die Bezeichnung Sequence-to-Sequence Learning with Attention.[10] Als Teil dieser Methode werden mehrschichtige Long short-term memory (LSTM) verwendet. Diese Lösung ergab gegenüber anderen Techniken deutlich verbesserte Resultate.[11] Er war auch beteiligt an der öffentlich zugänglichen Sammlung von Modellen und Software für maschinelles Lernen TensorFlow und dem von der Firma DeepMind entwickelten GO-Computer AlphaGo.[12]

Seit der Mitgründung des Unternehmens OpenAI in 2015 ist Sutskever dessen Chief Scientist.[13] Unter seiner Oberleitung haben Teams von OpenAI eine Reihe von erfolgreichen Produkten entwickelt, so OpenAI Gym, OpenAI Five, GPT-2, -3, -4 (Generative Pretrained Transformers), DALL-E, Clip, Whisper und ChatGPT, welcher 2023 multimodal weiterentwickelt wird.[14][15][6] Im Gespräch zwischen Sutskever und Jensen Huang, dem Vorstandsvorsitzenden von Nvidia, war dieser beeindruckt von der Leistungsfähigkeit von GPT-4 und seiner der menschlichen Ausdrucksweise sehr ähnlichen Resultate.[16] Sutskever gilt als auch unternehmerisch denkender Entwickler.[17] Im Juli 2023 kündigte OpenAI an, dass Sutskever zusammen mit Jan Leike das langfristige Projekt Superalignment anführen werde.[18] Beim Alignment (KI-Ausrichtung) wird versucht, irreführende, falsche oder schädliche KI-Resultate und Missbrauch durch menschliche Intervention zu unterbinden.[19] Bei ChatGPT wurde bereits umfassend Reinforcement learning from human feedback eingesetzt.[20] Time Magazine beschrieb Sutskever als „one of the industry’s most celebrated technical minds“.[21]

Sutskever war Mitglied des Verwaltungsrats der Firma OpenAI, Inc., in dem bis November 2023 mit Greg Brockman (Vorsitzender) und Sam Altman (CEO) auch die beiden bekanntesten Köpfe des KI-Unternehmens saßen.[22] Er soll maßgeblich an der überraschenden Entlassung Altmans im November 2023 als CEO von OpenAI und dem Rücktritt Brockmans mitgewirkt haben. Hintergrund soll eine Kontroverse mit Altman gewesen sein; Sutskever habe in der forcierten Kommerzialisierung von OpenAI ein Sicherheitsrisiko gesehen.[23] Sutskever ist nicht mehr im neu formierten Verwaltungsrat ab 22. November 2023 vertreten.[24]

Auszeichnungen Bearbeiten

Veröffentlichungen (Auswahl) Bearbeiten

  • mit Alex Krizhevsky, Geoffrey E. Hinton: Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems 25, 2012, S. 1097–1105 (Eine der ersten Veröffentlichungen als Mitautor.)

Weblinks Bearbeiten

Commons: Ilya Sutskever – Sammlung von Bildern, Videos und Audiodateien

Einzelnachweise Bearbeiten

  1. Neural networking. The Varsity. 25. Oktober 2010. Abgerufen am 5. Oktober 2023 (englisch)
  2. Training Recurrent Neural Networks. utoronto.ca, 13. August 2013. Abgerufen am 5. Oktober 2023 (englisch)
  3. Nelly Keusch: Die KI wird bald zu mächtig sein. In: NZZ, 2023-11-20. Abgerufen am 2023-11-21.
  4. Alec Scott: Heard it Through the AI. University of Toronto Magazine, 28. September 2022. Abgerufen am 5. Oktober 2023 (englisch)
  5. Tom Simonite: Ilya Sutskever. Visionaries (2015), MIT Technology Review, 18. August 2015. Abgerufen am 5. Oktober 2023 (englisch)
  6. a b The man who revolutionized computer vision, machine translation, games and robotics. AI Frontiers, 29. August 2018. Abgerufen am 6. Oktober 2023 (englisch)
  7. Veröffentlichungen (Google Scholar) . Abgerufen am 5. Oktober 2023 (englisch)
  8. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: ImageNet classification with deep convolutional neural networks. In: Advances in neural information processing systems, Vol. 25, 2012. Abgerufen am 7. Oktober 2023.
  9. Martin V. Butz: "Towards Strong AI". In: KI - Künstliche Intelligenz. 35 (1), 26. Februar 2021, S. 91–101. Abgerufen am 6. Oktober 2023.
  10. The Visionary Work of Ilya Sutskever: Shaping the Future of AI at OpenAI. In: DotCom Magazine. Abgerufen am 6. Oktober 2023.
  11. Ilya Sutskever, Oriol Vinyals und Quoc V. Le: Sequence to sequence learning with neural networks. Cornell University, 14. Dezember 2014. Abgerufen am 8. Oktober 2023.
  12. David Silver, Ilya Sutskever, et al.: Mastering the game of Go with deep neural networks and tree search. In: Nature, 27. Januar 2016. Abgerufen am 8. Oktober 2023.
  13. Cade Metz: A. I. Researchers Are Making More Than $1 Million, Even at a Nonprofit. In: New York Times, 19. April 2016. Abgerufen am 8. Oktober 2023.
  14. Josh Achiam: Research at OpenAI. openai.com. Abgerufen am 8. Oktober 2023
  15. a b Ilya Sutskever. The Royal Society, 2022. Abgerufen am 5. Oktober 2023 (englisch)
  16. Ben Wodecki: OpenAI’s Chief Scientist on the Long Road to Success. AI Business, 22. März 2023. Abgerufen am 9. Oktober 2023.
  17. Ilya Sutskever, OpenAI @ Entrepreneurial Thought Leader Speaker Series. Stanford University, 19. April 2023. Abgerufen am 9. Oktober 2023.
  18. Introducing Superalignment. OpenAI, 5. Juli 2023. Abgerufen am 5. Oktober 2023 (englisch)
  19. Craig S. Smith: AI Hallucinations Could Blunt ChatGPT’s Success. IEEE Spectrum, 13. März 2023. Abgerufen am 5. Oktober 2023 (englisch)
  20. Craig S. Smith: ChatGPT-4 Creator Ilya Sutskever on AI Hallucinations and AI Democracy. Interview with Sutskever. In: Forbes, 15. März 2023. Abgerufen am 14. Oktober 2023.
  21. Billy Perrigo: Ilya Sutskever: Co-Founder and Chief Scientist, OpenAI. TIME, 11. September 2023. Abgerufen am 9. Oktober 2023.
  22. Structure. OpenAI, 28. Juni 2023. Abgerufen am 6. Oktober 2023.
  23. ChatGPT: OpenAI will Sam Altman offenbar zurückgewinnen, Zeit Online, 19. November 2023; abgerufen am selben Tag
  24. Andrew Ross Sorkin et al.: The Fallout From Sam Altman’s Return to OpenAI. In: The New York Times, 2023-11-22. Abgerufen am 2023-11-22 (englisch).