El convento de los mínimos de Baeza, intitulado a Nuestra Señora de la Victoria, perteneció a la Provincia de Granada. La fundación suele remontarse al 24 de enero de 1551, aunque previamente había tomado posesión el 7 de diciembre de 1550 fray Pedro de Melgar en nombre del Provincial Francisco de Baeza. En este convento se conservaba un bonete de San Francisco de Paula. También una pequeña imagen de la Virgen hallada en 1592 conocida como Nuestra Señora de la Peña, por haberse encontrado junto a la fuente de la Peña, camino de Jaén; se llevó a la iglesia de los mínimos en 1615, alcanzando fama de muy milagrosa.
Tras la exclaustración, el convento sirvió primero de fábrica de licores. Quebrada esta empresa, se optó por la demolición, utilizándose los materiales, entre otras cosas, para la construcción de plaza de toros. La imagen de Nuestra Señora de la Peña pasó al monasterio de carmelitas descalzas.