O monarca Alfonso III, O Magno, mandou levantar os dous edificios máis importantes do século IX en Galicia. Un deles era relixioso, a Basílica do Apóstolo, en Compostela, e o outro era unha obra civil: a reconstrución do Castellum Honesti, en Catoira. O vello enclave romano converteuse nun dos principais castelos do reino asturiano, e de toda a Europa altomedieval. O monarca armou o lugar con murallas e torres de grande altura, dúas delas aínda se conservan, e son o máis destacado do vello castelo. Estas dúas torres que quedan en pé, preto da ribeira, pertencen a esta etapa prerrománica. Tamén de época asturiana é o crismón coa Cruz da Victoria, emblema de Alfonso III, atopado nas ruínas de Oeste e conservado no Museo de Pontevedra. Posteriormente, o rei Alfonso V de León, vencedor dos normandos de Olaf Haraldson, seguiu fortificando, no século XI, a fortaleza de Castellum Honesti. En 1204, a monarquía doou as Torres á Mitra Compostelana, e a partir de entón, os bispos Cresconio e Diego Peláez seguiron
fortificando a cidadela, fundamental para a defensa de Santiago. Catoira e as Torres serán testemuñas, posiblemente, do nacemento do primeiro arcebispo de Compostela: Diego Xelmírez. O pai deste, o cabaleiro Xelmirio, é o alcaide do castelo de Oeste a mediados do século XI. Durante o seu gran pontificado, o arcebispo Xelmírez reforzou o enclave militar entre 1108-1122; as obras remataron a tempo de rexeitar os ataques das naves sarracenas (piratas islámicos do Norte de África) entre 1122 e 1134. Xelmírez tamén fomentou esta política antipirática e defensiva, organizando a primeira escuadra de guerra dos reinos cristiáns da Península.
As Torres de Oeste impediron, durante séculos, o ascenso polo Ulla dos exércitos normandos e dos piratas sarracenos, ao se tratar dun sistema defensivo que lograba frear todo tipo de invasións que ascendesen pola Ría de Arousa. O deseño da fortaleza rematouse naquel século XII, quedando como un recinto elíptico rodeado por un muro, e armado por sete torres. As que hoxe quedan en pé, pertencen ao século IX; as ruínas doutras dúas son do século XII, e son da época romana os restos doutras que se orientan cara ao interior. Entre todas estas construcións, di a Historia Compostelana, destacaba unha gran torre central (con ruínas visibles hoxe en día), elevándose sobre todas as demais. O valor estratéxico deste castelo marítimo decaeu a finais do século XV, e a súa etapa de decadencia chegou na época dos Reis Católicos. Coa Idade Moderna, o antigo e inexpugnable recinto militar non serviu máis que de refuxio de vagabundos e de canteira para as casas das parroquias veciñas, aínda que sen decaer de todo, grazas á existencia da capela do Apóstolo.
As Torres e as peregrinacións
O Castellum Honesti considerábase na Historia Compostelana, escrita por colaboradores de Xelmírez, como chave e selo de Galicia. En efecto, era un conxunto de grande importancia para a defensa dos estados episcopais, pero o gran prelado tamén quixo dotar o castelo dunha capela dedicada a Santiago. Durante os séculos XII ao XVI, acudiron numerosos peregrinos ante o altar desta pequena capela de Oeste, despois de orar en Compostela ante a tumba de Santiago. Este constante fluxo de fieis devotos fixo de Catoira, ao igual que de Fisterra, Muxía e Padrón, un lugar de peregrinación que era continuación do Camiño Francés.