En 1620 fallece el patricio castellonense Baltasar Peris y manda en su testamento que la mitad de su fortuna se invierta en ayudas al hospital de la villa y en mejorar las construcciones de las iglesias de Fadrell, San Agustín y en particular la ermita del Lledó, dado el fervor creciente que el pueblo tenía por la imagen que ya la tradición había asentado como hallada por Perot de Granyana. Prueba de esa devoción es que en 1626 por primera vez es traída procesionalmente la Virgen a la ciudad para impetrar la lluvia en tiempos de sequía.

El Ayuntamiento era patrono y responsable del templo desde el medievo. Pero, por providencia episcopal de 1605, refrendada por la audiencia de Valencia en 1643 y casi medio siglo más tarde sancionada, de forma definitiva, por fray Severo Tomás Auther, obispo de Tortosa, se reconoce la libertad de la que habían gozado los jurados de la villa de Castelló de elegir prior para el ermitorio. En uso de sus atribuciones, el consistorio acudió al arquitecto Juan Ibáñez, que en 1655 estaba edificando el bello claustro del convento de dominicos, para llevar a cabo trabajos de mejora en el templo. El arquitecto derribó en 1659 la ermita huertana, sustituyendo la crujía por una única nave abovedada de mayor amplitud, rematada por un más amplio crucero, cubierto con una cúpula de 24 palmos, asentada sobre pechinas. El presbiterio, con ábside plano, cerraba la nave y detrás se ubicaba la sacristía, siguiendo el modelo de la iglesia del convento de clarisas. El archivo municipal conserva las capitulaciones y planos de Ibáñez, lo que permite hacernos una idea de las particularidades de la construcción, que desapareció con la ampliación del ermitorio un siglo más tarde.

Cronista oficial de Castelló