Med freden i Roskilde 1658 blev Skåne svenskt. Karl X Gustav bestämde att Malmö skulle bli säte i det generalguvernement som skulle utgöras av Skåne, Halland och Blekinge. Fältmarskalk Gustaf Otto Stenbock blev generalguvernör, eller vad vi senare skulle kalla landshövding. Han inrättade sig 1679 i det Lochska huset — senare kallat Kungshuset, en av de båda byggnader som idag utgör residenset.
I mars 1681 anlände generalguvernören Rutger von Ascheberg till Malmö. Han flyttade in i den gamla Ulfeldtska gården på Adelgatan — nuvarande Tunneln — som härmed upphöjdes till residensbostad. Som residens skulle "guvernörsgården" tjäna till 1732 då den dåvarande landshövdingen Johan Cronman flyttade tillbaka till den nu renoverade byggnaden vid Stortorget. Sitt nya residens hade han ritat själv. När han dog fem år senare lämnade han ett residensbyggnadsarkiv efter sig, till stora delar beständigt än idag.
Några kungligheter har genom åren förgyllt residenset med sin glans. Gustav IV Adolf bodde här med sitt hov från hösten 1806 till in på våren året därpå. Han hade tankar på att göra Malmö till Sveriges huvudstad. Det blev inte så. Istället lämnade han staden i maj 1807 för att aldrig mer återkomma, kvar blev en ännu icke uppförd teater och namnen på två centrala torg. Gustav IV Adolf avsattes som Sveriges regent 1809.
På morgonen den 6 juni 1848 anlände den svenske kungen Oscar I med ångfartyg till Malmö. Han lät inkvartera sig i residenset. I tre månader skulle huset och omkringliggande byggnader tjäna som bostad åt kungen och hans hov. Anledningen till Oscars vistelse i Malmö var det dansk-tyska kriget. Danske kung Frederik VII vädjade om svenskt bistånd. Malmö utsågs till huvudort för den militära sammandragning som den svenska regeringen beslutade om. Efterhand stabiliserades emellertid läget i Danmark, fredsförhandlingar pågick. Den svenska armén behövde aldrig ingripa. Istället levdes ett glatt societetsliv i Malmö. Baler och fester avlöste varandra. Efter den dansk-tyska vapenvilan den 26 augusti började de svenska soldaterna lämna staden. Den 6 september återvände Oscar I och det kungliga hovet till Stockholm.
"Han kommer aldrig ur detta hus." Med de orden kommenterade landshövdingen von Troils hustru Sofie kung Karl XV ankomst till residenset i Malmö den 16 september 1872. En riktig bedömning, den dödssjuke kungen avled två dagar senare. Den 22 september gavs Malmöborna möjligheten att ta ett sista avsked. I residensets matsal stod Karl XV på "lit de parade". Uppemot 9000 personer defilerade förbi det kungliga liket.
Bilden är välkänd. På residensets i Malmö balkong står Nordens tre monarker. Nedanför på Stortorget ett hav av undersåtar, flaggor och standar. Året var 1914, dagen den 18 december. Monarkerna på balkongen var Haakon VII från Norge, Danmarks Christian X och den svenske Gustav V, som också var värd för "trekungamötet". Syftet med mötet var ytterst att markera nordisk neutralitet och enighet i ett krigshärjat Europa.
