L'ermitage au sommet — reconstruit en 1886 après qu'un incendie a détruit son prédécesseur médiéval — repose sur des fondations plus anciennes que le Royaume de Castille, une destination de pèlerinage dont la tradition de la corde de la cloche précède les traces écrites du site. Gaztelugatxe se traduit du basque par « rocher du château », bien qu'aucune forteresse n'ait jamais couronné l'affleurement ; le nom fait référence au profil défensif escarpé de l'îlot, un bastion naturel contre les houles cantabriques.
L'ermitage est devenu un monument protégé en 1971, mais l'attention internationale n'est arrivée qu'après 2016, lorsque les repéreurs ont sélectionné le site pour incarner Peyredragon dans une adaptation télévisée. Le nombre quotidien de visiteurs a bondi de 80 000 par an à plus de 300 000, forçant les autorités basques à instaurer un système de billetterie en 2018. Aujourd'hui, chaque excursion à Gaztelugatxe au départ de Bilbao nécessite une réservation à l'avance pendant les périodes contrôlées — de mai à septembre, et tous les week-ends de l'année — pour éviter l'érosion sur la chaussée médiévale et limiter les files d'attente qui s'étiraient autrefois sur deux heures le long de l'approche par la falaise.
Les 241 marches suivent un itinéraire de pèlerinage du Xe siècle, en lacets sur la face ouest de l'îlot en trois segments raides. Les pavés de basalte, remplacés par sections après les dommages causés par les tempêtes en 2014, portent des rainures usées par des siècles de pas. L'intérieur de l'ermitage ne contient qu'une seule nef, nue à l'exception d'un retable en bois et d'offrandes votives laissées par les pêcheurs ; le bâtiment n'ouvre que pour la fête de la Saint-Jean le 24 juin, lorsqu'une procession descend à l'aube. L'intérêt architectural ne réside pas dans la structure — une reconstruction fonctionnelle dans le style vernaculaire régional — mais dans son emplacement sur la falaise, conçue pour résister à des charges de vent dépassant 120 kilomètres par heure.
Se rendre à Gaztelugatxe depuis Bilbao implique un trajet de 40 kilomètres sur la route côtière BI-631, en passant par le port de pêche de Bermeo et à travers Bakio, où la route d'accès se termine sur un parking en gravier à 800 mètres au-dessus du niveau de la mer. Un service de bus public (ligne A3518) circule deux fois par jour en été, nécessitant un transfert à Bermeo. Les itinéraires d'excursion à la journée depuis Bilbao vers Gaztelugatxe associent souvent l'ermitage au marché aux poissons de Bermeo ou à la réserve de biosphère d'Urdaibai, bien que la montée de 241 marches et le retour exigent une tranche de trois heures minimum.