Kraften i forsterkende læring

Kontinuerlig læring for bedre prediksjoner

Hva er forsterkende læring (RL)?

Forsterkende læring (RL) er en læringsmetode der en agent iverksetter tiltak i et miljø for å belønning å maksimere. Modellen lærer retningslinjer ("policy") som velger den beste handlingen basert på den nåværende tilstanden (state).

• Agent: modellen som tar beslutninger.

• Miljø: verdenen modellen opererer i (markedsplass, nettbutikk, forsyningskjede, børs).

• Belønning: tall som indikerer hvor god en handling var (f.eks. høyere margin, lavere lagerkostnader).

• Policy: strategi som velger en handling gitt en tilstand.

Akronymer forklart:

• RL = Forsterkende læring

• MDP = Markov-beslutningsprosess (matematisk rammeverk for RL)

• MLOps = Maskinlæringsdrift (operasjonell side: data, modeller, utrulling, overvåking)

Hvorfor RL er relevant nå

1. Kontinuerlig læring: RL justerer retningslinjer når etterspørsel, priser eller atferd endres.

2. Beslutningsorientert: Ikke bare forutsi, men faktisk optimalisere av utfallet.

3. Simuleringsvennlig: Du kan trygt kjøre "hva-hvis"-scenarioer før du går live.

4. Tilbakemelding først: Bruk ekte KPI-er (margin, konvertering, varelageromløpshastighet) som direkte belønning.

Viktig: AlphaFold er et gjennombrudd innen dyp læring for proteinfolding; det RL-eksempel fremfor alle er AlphaGo/AlphaZero (beslutstaking med belønninger). Poenget er fortsatt: læring via tilbakemelding gir overlegne retningslinjer i dynamiske miljøer.
Alphafold bruker en kombinasjon av Generativ AI for å forutsi en måte å forutsi GEN-kombinasjoner på, i stedet for ordkombinasjoner (tokens). Den bruker forsterkende læring for å forutsi den mest sannsynlige formen til en gitt proteinstruktur.

Forretningsmessige bruksområder (med direkte KPI-kobling)

1) Optimalisere omsetning og fortjeneste (prising + kampanjer)

• Mål: maksimal bruttomargin ved stabil konvertering.

• Status: tid, lager, konkurransepris, trafikk, historikk.

• Handling: velg prisnivå eller kampanjetype.

• Belønning: margin – (kampanjekostnader + returrisiko).

• Bonus: RL forhindrer ”overtilpasning” til historisk priselastisitet ved at det utforsker.

2) Lagerbeholdning og forsyningskjede (multi-nivå)

• Mål: servicenivå ↑, lagerkostnader ↓.

• Handling: justere bestillingspunkter og bestillingsstørrelser.

• Belønning: omsetning – lager- og restordre-/etterbestillingskostnader.

3) Fordele markedsføringsbudsjett (multi-kanal attribusjon)

• Mål: ROAS/CLV maksimere (Avkastning på annonsekostnader / Kundens livstidsverdi).

• Handling: budsjettfordeling over kanaler og kreativer.

• Belønning: attribuert margin på kort og lengre sikt.

4) Finans og aksjesignalering

• Mål: risikovektet maksimere avkastning.

• Status: prisegenskaper, volatilitet, kalender-/makrohendelser, nyhets-/sentimentegenskaper.

• Handling: posisjonsjustering (øke/redusere/nøytralisere) eller "ingen handel".

• Belønning: Resultatregnskap (Resultat og tap) – transaksjonskostnader – risikobøter.

• Vær oppmerksom: ingen investeringsrådgivning; sørg for strenge risikogrenser, slipp-modellen og etterlevelse.

Mantra LOOP:

Analyse → Tren → Simuler → Drift → Evaluer → Omskolering

Slik sikrer vi kontinuerlig læring hos Fortis AI:

1. Analyse (Analyser)
   Data-revisjon, KPI-definisjon, belønningsdesign, offline validering.

2. Trening
   Policy-optimalisering (f.eks. PPO/DDDQN). Bestem hyperparametere og begrensninger.

3. Simuler
   Digital tvilling eller markedsimulator for hva-hvis og A/B-scenarier.

4. Drift
   Kontrollert utrulling (kanari/gradvis). Funksjonslager + sanntidsinferens.

5. Evaluer
   Live KPI-er, avviksdeteksjon, rettferdighet/sikkerhetsbarrierer, risikomåling.

6. Omskolere
   Periodisk eller hendelsesdrevet omskolering med ferske data og utfallsfeedback.

Minimalistisk pseudokode for løkken

Hvorfor RL fremfor ‘kun prediksjon’?

Klassiske veiledede modeller forutsier et utfall (f.eks. omsetning eller etterspørsel). Men den beste spådommen fører ikke automatisk til den beste handling. RL optimaliserer direkte beslutningsrommet med den faktiske KPI-en som belønning – og lærer av konsekvensene.

Kort sagt:

• Veiledet: “Hva er sjansen for at X skjer?”

• RL: “Hvilken handling maksimerer mitt mål nå og på lang sikt?”

Suksessfaktorer (og fallgruver)

Utform belønningen godt

• Kombiner kortsiktige KPI-er (dagmargin) med langsiktig verdi (CLV, lagerhelse).

• Legg til straffer for risiko, etterlevelse og kundeinnvirkning.

Begrens utforskningsrisiko

• Start i simulering; gå live med kanarifrigjøringer og tak (f.eks. maks prissteg/dag).

• Bygg sikkerhetsbarrierer: stopp-tap, budsjettgrenser, godkjenningsflyter.

Forhindre datadrift og lekkasje

• Bruk en funksjonslager med versjonskontroll.

• Overvåke drift (statistikk endres) og automatisk omskolering.

MLOps og styringsregler

• CI/CD for modeller, reproduserbare pipelines, forklarbarhet og revisjonsspor.

• Koble til DORA/IT-styring og personvernrammeverk.

Hvordan starter du pragmatisk?

1. Velg en KPI-stram, avgrenset case (f.eks. dynamisk prising eller budsjettallokering).

2. Bygg en enkel simulator med de viktigste dynamikkene og begrensningene.

3. Start med en trygg policy (regelbasert) som grunnlinje; test deretter RL-policyer side om side.

4. Mål live, i liten skala (kanari), en skala etter bevist løft.

5. Automatiser omskolering (skjema + hendelsesutløsere) og driftvarsler.

Hva Fortis AI leverer

Ved Fortis AI kombinerer vi strategi, datautvikling og MLOps med agentbasert RL:

• Oppdagelse og KPI-design: belønninger, begrensninger, risikogrenser.

• Data og simulering: funksjonslagre, digitale tvillinger, A/B-rammeverk.

• RL-Retningslinjer: fra basislinje → PPO/DDQN → kontekstbevisste retningslinjer.

• Produksjonsklar: CI/CD, overvåking, drift, omskolering og styring.

• Forretningspåvirkning: fokus på margin, servicenivå, ROAS/CLV eller risikojustert PnL.

Vil du vite hva som kontinuerlig læringssløyfe gir mest for din organisasjon?
👉 Planlegg en innledende samtale via fortis ai.no – vi viser deg gjerne en demo av hvordan du kan bruke Reinforcement Learning i praksis.