Bis ins Jahr 1837 lässt sich die schulische Geschichte des Kollegium Aloisianum zurückverfolgen. Es entstand die erste Schule. 1851 wurde das Bischöfliche Knabenseminar eingerichtet.1897 wird das "Kollegium Petrinum" fertiggestellt und das Bischöfliche Gymnasium wird vom Freinberg dorthin übersiedelt.Im Jahr 1912 eröffnete wieder ein Gymnasium auf dem Freinberg. Die Absolventen sollten, so war es vorgesehen, Ordens- und Missionsberufe ergreifen. Die neue Schule erhielt den Namen "Collegium Aloisianum".Nach der Schließung der Schule unter den Nationalsozialisten wurde sie 1950 zum dritten Mal eröffnet. 1959 war sie dann ein eigenständiges Privatgymnasium, damals noch mit verpflichtendem Vollinternat.Im Jahr 1991 übernahm der "Schulverein – Kollegium Aloisianum" das Gymnasium und Realgymnasium von den Jesuiten und führt es seither als katholische Privatschule unter Bedachtnahme auf "Grundzüge jesuitischer Erziehung". Vereinsobmann ist Gustav Pomberger, seine Stellvertreter sind Alois Froschauer und Thomas Neulinger.