Haapsalu Rahvaülikooli eelkäijateks peetakse 1920 – 1943 Noarootsis tegutsenud Pürksi Põllutöö- ja Rahvaülikooli, 1993 – 2002 tegutsenud Paslepa Rahvaülikooli ning 2002 – 2009 tegutsenud Rootsi Rahvaülikooli Eestis. Pürksi Põllutöö- ja Rahvaülikooli näol oli tegemist eestirootslaste õppeasutusega, mis oli ühel ajal nii põhjamaade tüüpi internaatkool kui ka põllutöökool. 1943. aastal lõpetas kool tegutsemise seoses rootslaste Eestist lahkumisega.

Paslepa Rahvaülikool asutati Eestirootsalste Kultuuri Seltsi poolt 1993. aastal ja kool tegutses nii Noarootsi kui ka Haapsalus. Kooli tegevuse alustamist soosis olukord, et Eesti oli saanud iseseisvaks riigiks ja omavaheline suhtlemine kodu- ja väliseestlaste vahel elavnes. See tõi kaasa vajaduse õppida rootsi keelt ja kultuuri. Aastal 2002 sai kooli omanikuks Svenska Folkskolans Vänner, kes toetab rootsikeelseid koole Soomes. Uus omanik vahetas kooli nime, peamine tegvusala oli rootsi ja rannarootsi keel ja kultuur. Uueks kooli nimeks sai Rootsi Rahvaülikool Eestis. Kool avas osakonna Tallinnas, Rootsi Mihkli kiriku juures.

Rootsi Rahvaülikool Eestis tegutses kuni aastani 2009, mil tegevuse eesmärk tegutseda enamasti rootsi ja rannarootsi suunaga hakkas piirama kooli tegevust. 2009. aasta kevadel otsustati luua kahe eraldi osakonnana tegutsenud koolist kaks eraldiseisvat kooli. Haapsalus avati Haapsalu Rahvaülikool, mis loodi 1. aprillil 2009.