Après la chute de Napoléon en 1815, son oncle, le cardinal Fesch, archevêque de Lyon, est obligé de quitter la France et se retire à Rome. Monseigneur Gaston de Pins administre le diocèse en son nom. C'est un homme originaire du Tarn, plus précisément de Montségou-sur l'Agout, en amont de la petite ville de Brassac. Il possède une sorte de manoir au village d'Ouillats, non loin de là. C'est à cette époque que l'Institut des Sœurs de Saint-Joseph, fondé au Puy-en-Velay au XVIIè siècle, a connu un développement tel que des groupes de religieuses essaiment de tous côtés. Monseigneur de Pins les invite et 5 sœurs arrivent à Ouillats le 14 août 1824. Agréées par l'archevêque d'Albi, elles y fonderont la congrégation que l'on connaît.

Au long des années, le Couvent d'Oulias a créé une réputation pour son école de filles, école d'enseignement ménager et pensionnat. Les Sœurs ont acquis une considération générale grâce à la maison de retraite et aux soins à domicile pour les malades de la région. Les dernières sœurs sont parties en 1992 pour rejoindre d'autres couvents. Aujourd'hui, quelques chambres ont été baptisées chambre d'hôtel. Les réfectoires d'origine se sont transformés en un restaurant et un café. Des gîtes ont été hébergés dans l'ancienne école. Visite du couvent tous les mercredi matin.