Starmind im Silicon Valley an der NIPS (Neural Information Processing Systems) Konferenz
05.04.2018
Joachim Nips.jpeg

Joachim Ott
Data Scientist

Im Dezember ging es für einen Starmind ins sonnige Kalifornien. Ausgerüstet mit einem Set von Starmind-Shirts war Joachim, einer unserer AI-Experten, für uns an der Neural Information Processing Systems (NIPS) Konferenz – immer auf der Suche nach Inspiration, neusten Insights und Austausch mit anderen AI-Genies. Die NIPS gibt es seit 31 Jahren und sie ist mittlerweile die grösste wissenschaftliche Konferenz für AI mit wachsendem Interesse aus Wirtschaft und Industrie. Im letzten Jahr war sie so erfolgreich, dass die Teilnehmerzahl auf 8000 beschränkt werden musste und bereits nach zwölf Tagen alle Tickets ausverkauft waren.

NIPS rund um die Uhr

Sechs Tage lang, von Montag bis Samstag, strömten die Besucher in das Conference Center in Long Beach, Kalifornien. Eröffnet wurde die Konferenz mit Präsentationen in grossen Hallen, in denen alle 8000 Teilnehmer Platz fanden. Im Verlaufe der Konferenz wurde es dann spezifischer und die Besucher verteilten sich auf viele verschiedene, parallel stattfindende Workshops.

Jeder Tag war ein Marathon von Eindrücken: Morgens ging es für Joachim um acht Uhr los mit Talks, Symposien und Workshops. Zum Mittagessen traf er sich über die Konferenz-App mit Spezialistien mit einem ähnlichen Interessensgebiet, wie z.B. Natural Language Processing. Am Abend nach den Workshops blieben rund zwei Stunden Zeit, um die knapp 250 täglich wechselnden wissenschaftlichen Poster zu erkunden. Eine kleine Meisterleistung: Erst einen Überblick verschaffen, die wichtigsten Poster identifizieren und dann zur richtigen Zeit am richtigen Poster zu stehen, um eine Chance zu bekommen, mit dem Ersteller des Posters ins Gespräch zu kommen. Nach 12 Stunden Programm schlossen um acht Uhr die Hallen der Konferenz, dies war der Startschuss fürs Networking. Als Hotspot für AI-Talents liessen es sich die grossen IT-Unternehmen nicht nehmen, zu ausgefallenen Parties einzuladen. Joachims Highlight war die Intel AI Party mit Live-Act Flo Rida.

Deep Learning = Alchemie von heute

Einer der grossen Talks zu Beginn der Konferenz widmete sich einer kritischen Betrachtung, wie die Erfolge der Deep Learning Modelle erklärt werden können. In diesem Bereich wird vieles probiert mit wenig theoretischer Basis, was einen Vergleich mit der Alchemie des Mittelalters erlaubt. Die Alchemie hat uns viele tolle Entdeckungen wie z.B. Porzellan gebracht, aber arbeitete auch mit völlig falschen Hypothesen, wie z.B. dass man Gold erschaffen kann. Wahrer Fortschritt war erst mit der rigorosen Grundlagenforschung der modernen Chemie möglich.

Deep Learning ist Teil von immer mehr alltäglichen Anwendungen, wie Bilderkennung, Kaufvorschläge, Spracherkennung, Behandlungsvorschläge etc. und beeinflusst so mittlerweile Milliarden von Menschen. Umso wichtiger ist es, dass wir genau verstehen, wie sich die Deep Learning Modelle verhalten und weshalb sie dies tun. In typischer NIPS Manier, alles genau und wissenschaftlich zu hinterfragen, wurden von Forscherinnen und Forschern spannende und revolutionäre Paper zu dem Thema präsentiert.

Wenn AI Vorurteile hat

Ein weiteres wichtiges Thema war der Bias, der in Daten versteckt ist, die zum Trainieren von Deep-Learning Modellen verwendeten werden. Der Bias ist eine Voreingenommenheit beispielsweise gegenüber einem Geschlecht oder einer Ethnie, bzw. die falsche Verwertung der Daten zugunsten einer Kategorie. Es wurden spannende Möglichkeiten zur Erkennung und Beseitigung von Bias gezeigt und diskutiert.

I am MILA. Nice to meet you

Für die Anwendungen von Starmind besonders relevant ist der Fortschritt in Natural Language Processing (NLP), also der Verarbeitung natürlicher menschlicher Sprache, wie z.B. Text. Hierzu wurden die aktuellsten Entwicklungen des neuen Chatbots vom MILA Institut aus Montreal vorgestellt. Mit dem Chatbot kann man bereits heute teilweise sinnvolle Konversationen führen. Ein weiteres spannendes Thema war die Diskussion über neue Möglichkeiten, Themen und Texte automatisch hierarchisch einzuordnen. Auch sonst gab es viele spannende NLP Beiträge die zeigten, wie z.B. maschinelles Übersetzen, Textkategorisierung oder auch automatisches Zusammenfassen weiter verbessert werden kann.

Roboter lernen eigene Sprache

In einem Workshop zu Emergend Comunication, also zur Entstehung von Kommunikation, war eine Präsentation besonders spannend. Es wurde präsentiert, wie zwei virtuelle Roboter automatisch eine gemeinsame Sprache entwickeln, wenn eine Zusammenarbeit für beide von Vorteil ist. Jeder Roboter hatte eine zufällige Auswahl an Früchten und das Ziel war es, eine bestimmte Liste von Früchten zu erlangen. Mit der Zeit entwickelten beide eine gemeinsame Sprache und verwendeten die gleichen Bezeichnungen für die gleichen Früchte. So konnten sie miteinander kommunizieren und Früchte austauschen. Auf diese Weise waren sie deutlich effizienter als Roboter, die nur wahllos Früchte austauschten oder keine gemeinsame Sprache entwickelten.

Challenge Track

Erstmalig hatte die NIPS 2017 einen Competition Track, bei dem es verschiedene Challenges gab. Eine der Challenges hatte das Ziel, einen möglichst guten Trivia Bot zu entwickeln. Bei dem Spiel Trivia werden Informationen zu einer historischen Person vorgelesen und sobald man weiss, um wen es sich handelt, kann man einen Buzzer drücken und antworten. Die ersten Sätze erfordern extremes Detailwissen, um auf die Antwort zu kommen. Mit steigender Anzahl Sätze wird es immer einfacher. Das Siegerteam kam aus Japan und sein Bot trat an der NIPS live gegen ein Menschenteam an, zusammengesetzt aus diversen US-Nationalchampions. Der Bot gewann mit einem riesigen Vorsprung.

Neues aus der Neuroinformatik

Mit der heutigen Deep Learning Technologie sind viele neue und spannende Entwicklungen möglich, aber wir sind noch weit von einer generellen künstlichen Intelligenz entfernt. Besonders interessant für Starmind und Joachim sind daher die neusten Beobachtungen und Anwendungen, bei denen sich Neurologie und Machine Learning überschneiden. Neue und weiterentwickelte Ideen der beiden Deep Learning Urgesteine Geoffrey Hinton und Yoshua Bengio gaben gute Inputs für neue lernende Systeme, die uns in Zukunft vielleicht näher an eine echte künstliche Intelligenz bringen.

Fazit

Die diesjährige NIPS in Long Beach war noch grösser und imposanter als die letztjährige in Barcelona. Joachim war begeistert: «Ich hatte eine tolle Zeit an der Konferenz: Viele spannende Inputs für unsere Technologie, gute Gespräche und bereichernder fachlicher Austausch.»