La Hermandad del Silencio se fundó en 1340 en Omnium Sanctorum. Consta que tuvo una sede en la ermita de San Antón, en el Hospital de las Cinco Llagas y en el de la Santa Cruz en Jerusalén.