I 1940 ble Varde midlertidig omdannet til en fangeleir for tyske krigsfanger under andre verdenskrig. Etter den tyske okkupasjonen ble fangene frigitt, og bygget ble omgjort til et alders- og sykehjem. Samtidig fortsatte undervisningen der, og Varde ble et symbol på motstand og tilpasning under krigsårene.
I 1952 ble fylkesskolen nedlagt, og Varde fikk nytt liv som framhaldsskole i 1955, en forløper til dagens ungdomsskole. Senere, i 1964, ble også realskolen en del av Varde. Bygget gjennomgikk endringer i takt med utviklingen av utdanningssystemet.
En skolereform i 1966 førte til opprettelsen av den niårige grunnskolen, og en ny skolebygning på Bruhagen ble bygget i 1973. Dette markerte slutten på Varde som skolebygning.
På midten av 1970-tallet ble Varde en ekstra administrasjonsbygning for kommunen. I løpet av denne perioden huser bygningen teknisk etat, landbrukskontor, skolekontor, fagforeninger og kulturkontor. På 1990-tallet gjennomgikk bygget rehabilitering og ombygging, men kommunens bruk av bygget ble avsluttet i 2009.
I 2012, med utviklingen av en ny sentrumsplan, ble Varde kjøpt av Averøy Utvikling AS. Eierne hadde ambisjoner om å utvikle boliger i bygget, men støtte på utfordringer grunnet dets status som kulturminne av regional verdi. Forslag om fasadeendringer for å legge til balkonger ble avvist av kommunen. Selv forslag om å rive bygget og bygge nye, moderne boliger ble møtt med motstand.
I 2019 overtok Oslo Projects AS, men heller ikke de fikk godkjennelse fra kommunen. Finansiører uttrykte bekymring for bygningsmassen og branntekniske forskrifter, og det ble ansett som potensielt dyrere å renovere enn å bygge nytt. Kommunen vurderte også ideen om å omgjøre bygget til omsorgsboliger, men dette ble skrinlagt.
I 2022 kjøpte Per Ivar Aakvik bygget tilbake fra Oslo Projects AS. I samarbeid med kommunen søkte de om deltakelse i DOGAs Gnist-program med ambisjoner om å transformere Varde "fra en samtidsruin til en veiviser for framtidas bærekraftige lokalsamfunn". Innovasjonsteamet, ledet av Natural State, ble engasjert for å gjennomføre denne transformative prosessen, og resultatet inkluderer blant annet denne nettsiden. Varde bærer på seg historien om utdanning, kultur, og motstand, og nå ser den frem mot en ny rolle som en plattform for bærekraft og fremtidig utvikling på Averøy.
