Nakon što se obrazovao u oblasti filozofskih i pedagoških nauka, te 1844. godine došao u Beograd i odmah postao vaspitač kćeri kneza Aleksandra Karađorđevića, a zatim profesor na Liceju i Vojnoj akademiji, Matija Ban, rođen 1818. u Petrovom selu pored Dubrovnika, posle obilaska okoline Beograda, koja mu se strašno dopala, a naročito Golo brdo, obratio se Opštini sa molbom da mu na tom predelu prodaju jedan deo.
Međutim, zbog njegovih zasluga učinjenih Srbiji u diplomatskim i drugim poslovima, Opština odbija da mu proda, već 1850. godine donosi odluku da mu pokloni jednu parcelu, koja se nalazila odmah ispod Nemačkog groblja (ostaci i danas postoje), na kraju ulice kneza Višeslava, na samom vrhu Golog brda odakle se pružao predivan pogled na Savu i Dunav.
Ban je na tom imanju sagradio letnjikovac u šumadijskom stilu, sa velikom terasom i nekoliko manjih sporednih kućica. Velika bašta sa raznovrsnim cvećem, koje je donosio iz Dubrovnika i sa grčkih ostrva, graničila se sa rodnim vinogradom i bogatim voćnjakom koji je brižno održavao, a pored svega toga gajio je i pšenicu i kukuruz.
Matija Ban je tu održavao svoja poznata posela – druženja, a često su mu gosti bili Jovan Jovanović Zmaj, Ljuba Nenadović, ali i lično knez Mihailo, koji je jednom prilikom, uživajući zavaljen u baštenskoj stolici, izjavio: „Da, vi imate u Beogradu najlepši pogled”. U svom letnjikovcu Ban je i umro 1903. godine, a taj predeo oko njegove kuće narod je počeo da naziva prvo Banovac, a zatim i Banovo brdo, ime koje se zadržalo sve do danas.
