Man nöjde sig till en början med ett våningshus och det var  R F Berg och Skånska Cement AB som var byggmästare.

Först hette skolan Hyllie nr 28 eftersom skolan som flyttade in i det nya huset hette så. Det var inte förrän 1915 som skolan fick namnet Karl Johanskolan.

Enligt ett gammalt protokoll så står det att år 1889 byggdes även en förskolelärarbostad som man inredde med tapeter för 30 öre rullen. Skolan var kall och dragig trots nya ugnar så när temperaturen sjönk under 6 grader så ställde man in lektionerna.

De första lärarna som tjänstgjorde på Karl Johanskolan var folkskolelärarinnan Hedda Boström och småskolelärarinnorna Botilda Andersson, Anna Olsson och Helena Boström.

Ämnena på schemat var: katekes, biblisk historia, läsning, skrifning, räkning, fäderneslandets geografi, människokroppens organ med mera.