KIEL/WIEN, 11.07.24 – Künstliche Intelligenz macht Developer schneller. Diese These hat die Cloudflight GmbH im Zuge des diesjährigen Cloudflight Coding Contest überprüft – und kommt zum Ergebnis: nicht für jeden und nicht für jede Aufgabe.
Direkt im Anschluss an ihren letzten Cloudflight Coding Contest, Europas größten Programmierwettbewerb, hatte die Cloudflight GmbH im April 2024 unter den Teilnehmenden eine Umfrage zur KI–Nutzung durchgeführt. Ziel der Befragung: Die Leistungen derjenigen, die KI einsetzten, mit denen der traditionell Programmierenden vergleichen. Von den 1040 Befragten gaben 71% an, dem Einsatz von KI-Mitteln gegenüber offen zu sein – oft in einer Kombination aus mehreren mit ihren jeweiligen Stärken und Schwächen. ChatGPT und GitHub CoPilot waren die beliebtesten der insgesamt 15 Tools. 46 Prozent der KI-Nutzer:innen gaben an, durch den Einsatz von KI Zeit gespart zu haben, 22 Prozent haben nach eigener Einschätzung Arbeitszeit demgegenüber verloren, als wenn sie keine KI genutzt hätten.
Hilfreich bei unterstützenden Aufgaben
Das unterstreicht auch der direkte Geschwindigkeitsvergleich beim CCC: Nicht-KI-Nutzer: innen waren im Durchschnitt etwas schneller. Bei diesem Wettbewerb geht es hauptsächlich um das Erstellen von Geschäftslogik unter Zeitdruck. Hierfür ist die Aufgabenstellung in 7 verschiedene Level aufgeteilt. Im Level 2 etwa waren Nutzer:innen ohne KI-Unterstützung rund 11 Minuten schneller angelangt (43 zu 54 Minuten) als solche mit KI-Unterstützung, Level 3 wurde von Nicht-KI-User:innen 16 Minuten früher erreicht (95 zu 111 Minuten). Level 4 wurde bereits nur mehr von 5% der Teilnehmer:innen (24 KI und 29 Nicht-KI Nutzer:innen) bewältigt, und Level 6 oder höher wurde ausschließlich von wenigen nicht-KI-Nutzer:innen erreicht: „KI-Unterstützung nützt derzeit vor allem bei Routineaufgaben; komplexere und umfangreichere Logik hingegen können aktuelle KI-Assistenten nur selten im Alleingang fehlerfrei erstellen”, ordnet Dr. Martin Endress, CEO von Cloudflight, die Ergebnisse ein. „Das korrespondiert auch mit der internen Befragung unserer eigenen Entwickler:innen zur KI-Nutzung.”
Wie nutzen Profis KI?
Die Ergebnisse korrespondieren mit einer Cloudflight-internen Befragung von 70 Cloudflight-Entwickler:innen nach einem vierwöchigen Test zur Nutzung von GitHub Copilot. Die Hälfte der Befragten nutzt die KI nach eigener Aussage zwischen fünf und 15 Mal am Tag und spart dadurch signifikant an Arbeitszeit ein, im Mittel 40 Minuten, also acht Prozent eines Arbeitstages. Auf einen Monat betrachtet bedeutet dies eine Ersparnis von mehr als eineinhalb Tagen.
GitHub Copilot ist vor allem hilfreich bei sich wiederholenden Aufgaben wie der Generierung von Dokumentation, bei Unit- und Integrationstests oder Datenbankschemata. Als negativ beurteilten die Befragten, dass sie mit GitHub Copilot auf ChatGPT als einziges Modell beschränkt und damit wenig flexibel seien. Dies ist vor allem dann eine Herausforderung, wenn ein nicht zu unterschätzendes Problem auftritt: Es können mehrere Monate vergehen, bis neue Inhalte in ein Modell aufgenommen werden. Somit konnte GitHub Copilot teilweise keine Antworten zu aktuellen Versionen von Bibliotheken oder Dokumentationen liefern, und generierte stattdessen veralteten Code und fehlerhafte Antworten.
Harald Radi, Geschäftsführer Cloudflight Österreich: „Die Befragten nutzen KI-Tools hier also vor allem als Sparringspartner. Größere Codebases würden hingegen deutlich mehr Kontextwissen erfordern, wodurch aktuelle KI-Assistenten aufgrund der beschränkten Größe ihres Modellkontexts noch technische Einschränkungen aufweisen.“ Mehr als die Hälfte glaubt jedoch, dass die Effektivität im Laufe der Zeit zunehmen wird, wenn die KI-Nutzung besser in den eigenen Workflow integriert wird.
Die ausführlichen Ergebnisse sind im Blogpost verfügbar und können hier abgerufen werden.
Über den Cloudflight Coding Contest
Der Cloudflight Coding Contest (CCC) ist Europas größter Programmierwettbewerb und findet zweimal im Jahr weltweit in verschiedenen Städten und online mit rund 10.000 Teilnehmer:innen statt. Er wurde 2007 an der Johannes Kepler Universität Linz ins Leben gerufen, Organisator ist Cloudflight. Der Wettbewerb bietet zwei Tracks (School und Classic), die es ermöglichen, in jeder Programmiersprache allein oder als Team anzutreten. Am letzten Event im April 2024 nahmen fast 5.000 Coder:innen an 46 Standorten in 14 Ländern sowie online teil und stellten sich den von den Veranstaltern erdachten algorithmischen Rätseln. In Österreich gingen 1558 Teilnehmer:innen an den Start. Davon versammelten sich allein 736 Coder:innen im Wiener Rathaus.
Über Cloudflight
Cloudflight ist ein führender Anbieter für unternehmenskritische Software und innovative digitale Lösungen in Europa. Mit über 800 qualifizierten Mitarbeiter:innen, 20 Jahren Erfahrung im digitalen Business und einem breiten Know-how aus mehr als 3.000 erfolgreich abgeschlossenen Digitalprojekten beschleunigt Cloudflight die digitale Transformation seiner Kund:innen. Die Expertise von Cloudflight umfasst Software Engineering samt Individual-Softwareentwicklung, globale e-Commerce-Lösungen für B2B- und B2C-Kund:innen, skalierbare Cloud-Lösungen sowie Künstliche Intelligenz und Datenmanagement. Hand in Hand mit seinen Kund:innen arbeitet Cloudflight als Sparring-Partner und Berater an Projekten, die sich direkt auf deren Unternehmenserfolg auswirken.
Weitere Informationen finden Sie unter www.cloudflight.io.