Stabilisering och standardisering av data från +100 API:er på InCommodities

Kundprojekt

twoday fick i uppdrag att hämta, stabilisera och standardisera stora mängder data från flera hundra API:er och webbplatser. Till en början drivet av ett brådskande behov har det sedan utvecklats till ett nära samarbete som sträcker sig över flera år.

Bakgrund

År 2017 grundades InCommodities, ett tech-företag specialiserat på handel med el och gas på de europeiska och nordamerikanska marknaderna, med ambitionen att göra saker annorlunda inom branschen. Ett av målen var att vara mer smidig, människofokuserad och bygga på förtroende.

Sedan dess har det bara gått en riktning - framåt! Detta har resulterat i en tillväxt på över 3000% och en position bland de största intäktsgenererande företagen i Danmark. Men som ett energihandelsföretag är de extremt beroende av data och hastigheten som data är tillgänglig. Mer kraft behövdes för att standardisera de många datakällorna som algoritmer, analytiker och handlare förlitar sig på för sina transaktioner.

Uppgiften

Den teknikbaserade metoden, som kombinerar djup data och teknik för att skapa prognoser som InCommodities baserar sina affärer på, var en perfekt grund för samarbete med twoday.

twoday fick i uppdrag att hämta, stabilisera och standardisera stora mängder data från flera hundra API:er och webbplatser. Till en början var det drivet av ett brådskande behov, men det har sedan utvecklats till ett nära samarbete som sträcker sig över flera år.

På InCommodities ställs höga krav på både expertisen och personligheten hos anställda och externa konsulter. Därför var det avgörande att presentera rätt konsulter för uppdraget som en väsentlig del av projektet.

"Lars har varit extremt skicklig på att presentera rätt konsulter för oss för uppgifterna, både reaktivt och proaktivt. Våra värderingar och kultur är viktiga för oss, vilket innebär stora krav på konsulterna, både professionellt och personligt."

Jackob Hestbæk, Head of Software Development på InCommodities

Så löste twoday uppgiften

twodays konsulter utvecklade dataavskrapare i JavaScript för att uppnå hög utvecklingshastighet. Dessa avskrapare stöds av ett urval av schemaläggnings- och övervakningsverktyg, samt ett egenutvecklat SDK, som gör det enkelt att utföra de vanligaste uppgifterna.

Några API:er hämtar stora mängder data varje dag, och dessa är utvecklade i F#. Detta beror delvis på att det är det primära programmeringsspråket som används i InCommodities IT-avdelning, men också för att det ger robusthet och utförandestyrka som JavaScript saknar.

IT-minds artikel

Värdet av samarbetet

twoday utgör nu 50% av InCommodities dataavskrapningsteam, internt känt som "guldrusharna", och spelar en avgörande roll i att forma den övergripande marknadsbilden.

En annars obetydlig uppgift inom programvaruutveckling har lyfts till en nivå där den nu betraktas som en avgörande del i en större uppsättning, integrerad i den operativa utmärkelsen som är nödvändig för framgång inom energihandelsområdet.

Speciellt den stora och mångsidiga urvalsprocessen av sociala, utåtriktade och extremt kompetenta programutvecklare som också kan agera som kritiska konsulter har varit en avgörande faktor för InCommodities när de valde twoday som projekt partner.