Machine Learning: OpenAI setzt künftig auf Facebooks PyTorch

Ab sofort verwendet die Organisation weitgehend Facebooks Machine-Learning-Framework zum Erstellen von Modellen.

OpenAI hat angekündigt, künftig standardmäßig PyTorch als Machine-Learning-Framework (ML) einzusetzen. Von der Vereinheitlichung verspricht sich das Start-up, dass unterschiedliche Teams ihre Arbeit besser untereinander austauschen können. Bisher nutzen die Mitarbeiter je nach Projektvoraussetzungen unterschiedliche ML-Frameworks.

Neben dem besseren Austausch nennt OpenAI, dass sich mit PyTorch Forschungsideen besonders einfach ausprobieren und umsetzen lassen, und Facebooks ML-Framework gute Performance mit GPU-basierten Systemen erzielt. Laut dem zugehörigen Blogbeitrag will sich OpenAI auch an der Weiterentwicklung von PyTorch beteiligen. Trotz der allgemeinen Umstellung will das Start-up weiterhin in Ausnahmefällen andere Frameworks verwenden, wenn es dafür spezifische technische Gründe gibt.

Reinforcement Learning auf PyTorch

Im Zuge der Standardisierung auf das Framework hat das Unternehmen eine PyTroch-Variante des Projekts "Spinning Up in Deep RL" veröffentlicht, das Data Scientists und Entwickler an Deep Reinforcement Learning heranführt. OpenAI hatte das Projekt erstmals im November 2018 veröffentlicht und stellt nun auf GitHub die auf PyTorch zugeschnittene Variante bereit.

Reinforcement Learning (RL) funktioniert nach dem Belohnungsprinzip: Vereinfacht gesagt versucht der Softwareagent selbstständig eine Belohnung zu erkennen und sie zu maximieren. Bekannte Anwendungsfälle lernen und spielen möglichst erfolgreich Brett- und Videospiele. Ein bekannter Vertreter ist AlphaGo Zero. OpenAI hatte 2016 einen RL-Trainingsbereich unter dem Namen Gym (Trainingshalle, Fitnessstudio) veröffentlicht, das unter anderem Videospielklassiker wie Centipede und MsPacman, aber auch das Brettspiel Go zum Üben und Testen von Algorithmen anbietet.

Hintergründe zu OpenAI und PyTorch

OpenAI entstand Ende 2015 als Non-Profit-Organisation mit einer klar gemeinnützigen Vorgabe: "Unser Ziel ist es, digitale Intelligenz in einer Weise voranzubringen, dass sie am ehesten der Menschheit als Ganzes nützt, frei von den Zwängen finanzielle Erlöse zu erzielen. Da unsere Forschung frei von finanziellen Verpflichtungen ist, können wir uns besser auf einen positiven menschlichen Einfluss konzentrieren." Im März 2019 stellte das Unternehmen das Geschäftsmodell auf eine Mischung aus gewinnorientiert und non-profit um. Die Verantwortlichen bezeichneten das Vorgehen als "Capped-Profit".

ML-Essentials 2020

Vom 17. bis 19. Februar 2020 starten heise Developer, iX und der dpunkt.verlag mit einem neuen Format zum Thema Machine Learning: Die ML-Essentials bieten Halbtages-Trainings zu insgesamt 18 Themen. Die Veranstaltung ist aus dem Wunsch einiger Teilnehmer der Entwicklerkonferenz Minds Mastering Machines hervorgegangen, die Workshops im Rahmen der Konferenz zu erweitern.

Im Programm der ML-Essentials 2020 findet sich unter anderem einen Workshop zu Deep Learning mit PyTorch. Ein weiteres Training gibt eine Einführung in Reinforcement Learning inklusive einer Hands-on-Implementierung.

PyTorch ist ein Open-Source-ML-Framework, das Facebook 2016 ins Leben gerufen hat. Es basiert auf der Torch-Library, die bereits seit 2002 existiert, aber seit 2017 nicht mehr gepflegt wird. Mitte Januar ist PyTorch 1.4 erschienen, das unter anderem neben Python erstmals Java als Programmiersprache ins Boot holt und vorgefertigte Pruning-Methoden mitbringt. (rme)