1600-talets Malmö präglades av den utdragna konflikten mellan Danmark och Sverige. Vid freden i Roskilde 1658 tvingades Danmark avträda Skåne, Halland och Blekinge. I den svenska delegationen vid fredsförhandlingarna deltog den danske adelsmannen greve Corfitz Ulfeld, gift med danske kungen Christian IV:s dotter Leonora Christina. Som belöning för sina tjänster blev han svensk guvernör i Skåne. Corfitz Ulfeld köpte Tunneln och lät inreda byggnaderna till sitt residens. Året efter freden blev han emellertid arresterad för deltagande i den s.k. Malmösammansvärjningen och fråndömd liv och gods. Corfitz Ulfeld lyckades fly tillsammans med sin hustru, men avled 1664 i en båt på floden Rhen.
Tunneln beslagtogs nu av den svenska kronan och fungerade som residens åt de skånska generalguvernörerna fram till 1733. Utanför Tunneln, i hörnet mellan Kansligatan och Adelgatan lät Karl XI sätta upp en milsten år 1676. I stenen är inhugget en krona och bokstäverna CRS (Carolus Rex Suecorum). Ännu idag räknas alla avstånd till och från Malmö från denna plats.
I början av 1700-talet beboddes Tunneln av flera prominenta guvernörer. Den mest kände var Magnus Stenbock, som genom segern vid Helsingborg 1710 räddade Skåne åt den svenska kronan. I Tunneln stod mer än trettio rum till guvernörens förfogande. Efter att landshövdingen flyttat till Stortorget upphörde byggnaderna att vara residens. Istället kom Tunneln i Frans Suells ägo. Frans Suell tog initiativ till Malmö hamn, där han också står staty.
I slutet av 1700-talet inreddes Jacob Nickelsens höga trappgavelhus till sockerbruk. Rörelsen utvidgades till ett framgångsrikt raffinaderi.
På 1850-talet ägdes Tunneln av handelsmannen P.G. Barkman. Denne lät modernisera byggnaderna och ersatte det på 1600-talet uppförda gatuhuset med den nuvarande byggnaden med ett kolonninramat mittparti. År 1866 inreddes de gamla källarna åter till värdshus. Restaurang Tunneln fick sitt namn efter de långsträckta medeltida valven, ett namn som har kommit att beteckna hela byggnadskomplexet.
År 1908 byggdes det gamla trappgavelhuset om till hotell med rum för resande på andra och tredje våningen. Malmö-tidningens gamla redaktionslokaler på bottenvåningen byggdes om till matsal. Delar av Tunneln disponerades av Malmö stadsbibliotek mellan åren 1905 och 1946. Gick man till vänster i porten kom man till krogen, gick man till höger kom man till biblioteket.
Under hela 1900-talet följer sedan en obruten kedja av restauratörer, hotelldirektörer och nattklubbsägare i Tunnelns anrika lokaler. Mången bägare har tömts här, mången sula har lagts på den knarrande dansgolvparketten. Otaliga hotellgäster har fått en god natts sömn i det tidigare residenset.