Die Burg thront auf einem Felsrücken rund 200 m über dem Drino-Tal über der Altstadt von Gjirokastra, die gemeinsam mit der Burg zum UNESCO-Welterbe gehört. Die Anlage ist rund 500 m lang und hat mehrere Türme; ihre heutige Gestalt geht vor allem auf den Ausbau unter Ali Pascha von Janina Anfang des 19. Jahrhunderts zurück. Gjirokastra liegt an der Nationalstraße SH4 zwischen Tepelena und dem Grenzübergang Kakavija nach Griechenland, eine schöne Talstrecke entlang des Drino. Hinauf zur Burg führen steile, gepflasterte Altstadtgassen, die bei Nässe sehr glatt sein können; mit schweren Maschinen parkt man besser weiter unten. In der Burg befinden sich ein Waffenmuseum, ein Stadtmuseum, ein ehemaliges Gefängnis, ein Uhrturm und ein im Kalten Krieg notgelandetes US-Flugzeug. Der Eintritt ist kostenpflichtig. Sehenswert sind auch die osmanischen Turmhäuser der Altstadt wie das Skenduli- und das Zekate-Haus.