1 jun 2024
Afstudeeropdracht in Data & AI: Genereer ETL pipelines op basis van een specificatie met behulp van GPT-4
| Branche | Zie onder |
| Dienstverband | Zie onder |
| Uren | Zie onder |
| Locatie | Veenendaal |
| Salarisindicaties | 0-5.000 |
| Opleidingsniveau | Zie onder |
| Organisatie | Info Support |
| Contactpersoon |
Info Support Nederland 0318552020 |
Informatie
Met de opkomst van AI in codeontwikkeling verbeteren tools zoals GitHub en Copilot de productiviteit aanzienlijk. Dit roept de vraag op: kunnen we nóg efficiënter werken? Het ontwikkelen van ETL pipelines kost veel tijd en toont veel overeenkomsten tussen projecten. Hier ligt een kans voor innovatie. Onderzoek de mogelijkheden om GPT-4 actief in te zetten voor de automatisering van dit proces, met als doel specificaties direct om te zetten in werkende code. Ontwikkel een prototype dat laat zien hoe GPT-4 ETL pipelines uit feature files kan genereren, waardoor we aanzienlijke efficiëntieverbeteringen in data-transformatieprocessen kunnen realiseren.
Omschrijving
Met de opkomst van AI in codeontwikkeling verbeteren tools zoals GitHub en Copilot de productiviteit aanzienlijk. Dit roept de vraag op: kunnen we nóg efficiënter werken? Het ontwikkelen van ETL pipelines kost veel tijd en toont veel overeenkomsten tussen projecten. Hier ligt een kans voor innovatie. Onderzoek de mogelijkheden om GPT-4 actief in te zetten voor de automatisering van dit proces, met als doel specificaties direct om te zetten in werkende code. Ontwikkel een prototype dat laat zien hoe GPT-4 ETL pipelines uit feature files kan genereren, waardoor we aanzienlijke efficiëntieverbeteringen in data-transformatieprocessen kunnen realiseren.
Functie eisen
We zien steeds meer mogelijkheden om AI in te zetten voor het schrijven van code. In het geval van GitHub en bijvoorbeeld Copilot is de productiviteit al met tot 50% verbeterd. Dat is een indrukwekkend cijfer. Maar kunnen we nog verder gaan? We merken bij onze klanten dat het maken van ETL pipelines veel tijd kost. Veel van deze pipelines lijken op elkaar. We verzamelen data op een staginglocatie, transformeren deze data om diverse kwaliteitsproblemen op te lossen, en zetten de data vervolgens om naar een dimensioneel formaat of naar een feature set voor machine learning. Zou dit proces niet efficiënt geautomatiseerd kunnen worden door een specificatie in een feature file te vertalen naar werkende code met behulp van GPT-4?
