Od Slovanov pochádza názov sídla. Maďarský knieža Gejza presťahoval v roku 973 svoje hlavné mesto z Fejérváru do Ostrihomu, čím vzrástol aj význam samotného Vyšehradu, ktorý sa stal župným centrom. Ostrihom je vzdialený od Vyšehradu len 25 kilometrov.
Keď Belo IV. v roku 1249 presťahoval svoj kráľovský dvor z Ostrihomu do Budína, začal sa na obranu nového hlavného mesta stavať predsunutý hrad vo Vyšehrade. V podhradí vzniklo sídlo, ktoré zaznamenalo najväčší rozmach počas panovania Ladislava IV. a Ondreja III.
Kráľ Karol I. Róbert sem umiestnil svoj kráľovský dvor, pretože Budín mu nedovolil usadiť sa v arpádovskom sídle. V roku 1323 sa do Vyšehradu premiestnili aj uhorské korunovačné klenoty.
Počas vlády Mateja I. Korvína sa sídlo rozvíjalo a v roku 1473 sa začala stavba Kráľovského paláca, ktorý stojí dodnes. Po Matejovej smrti nastáva úpadok Vyšehradu.
V roku 1543 sa posádka hradu vzdala presile tureckých vojsk. turci vyhodili hrad do povetria v roku 1686. Definitívne bol hrad zničený po kuruckých povstaniach v rokoch 1703 – 1704.