Met grote ijver en edelmoedigheid ging hij aan het werk. Weldra deed hij de overtuiging op dat er in Ronse twee grote kwalen te overwinnen waren: de verschrikkelijke onwetendheid op allerlei gebied en de agressieve bedelarij. Ronse werd in die tijd wel eens "de stad van de armoede" genoemd als gevolg van een zware crisis in de belangrijkste nijverheid, namelijk de linnenindustrie. In Ronse en omgeving was de werkloosheid groot. De mannen die wel werk hadden, verdienden per dag een halve frank, de vrouwen voor 12 uur dagarbeid, ontvingen twintig centiem. Die bedragen waren te groot om te sterven van de honger, maar te klein om een gezin te kunnen voeden.

De deken met de medepastoors van de Sint-Hermesparochie en de geestelijken van de parochie van Sint-Maarten steunden gezamenlijk een plan door onderpastoor Glorieux ontworpen. Samen met enkele welgestelde bewoners van de stad zonden zij een petitie naar het gemeentebestuur. Daarin vroegen de ondertekenaars de oude Sint-Pieterskerk, die op dat ogenblik leeg stond, als werkhuis van liefdadigheid te mogen inrichten. De Raad haastte zich om aan zo'n welkom verzoek gretig te voldoen.

Mijnheer Glorieux liet zich niet afschrikken door de grote armoede en vroeg mejuffrouw Depoorter om hulp en raad. Naast goede raad steunde zij hem financieel en materieel. Hij kreeg van haar grote stukken grof lijnwaad, het zogeheten balengoed, spinnewielen, weefgetouwen en grondstoffen om die te verwerken. Met helpers en helpsters zette hij zich aan het werk om de Sint-Pieter in te richten. Het werd daar een getimmer van jewelste en er werd flink gesjouwd. Zelfs jongelieden en jonge vrouwen uit de hogere standen staken de handen uit de mouwen. Met het balengoed van juffrouw Depoorter verdeelde men de kerk in afzonderlijke vertrekken en lokalen.

De Sint-Pieter leek wel een jaarmarkt. Kinderen die vroeger rondzwierven, ontvingen nu catechismusles en les in spinnen en weven. Verder werden er bejaarden, een groot aantal gebrekkige sukkelaars en bedelaars in ondergebracht. Dit was het begin van wat eens een echte ambachtsschool zou worden, het begin van het eerste 'Huis van Liefdadigheid' in Ronse. Het was er een gezellige drukte. Vrouwen en meisjes zwingelden en bobijnden het vlas en sponnen het tot draad. Mannen en jongens weefden op oude handweefgetouwen en maakten dweilen, balengoed en eenvoudige kleren. In de vroegere sacristie wasten andere vrouwen het geweven goed dat door mannen in de toren werd gedragen en daar werd opgehangen om te laten drogen. Onderpastoor Glorieux zag dat alles blij en gelukkig aan, maar zat toch nog met een probleem. Waar moesten de zwervers en zwervertjes slapen? Hij liet daarom het zangerslokaal langs de beide zijbeuken verlengen, zodat er een hele slaapgalerij ontstond. Hij bedelde strozakken en dekens bij elkaar zodat ze een slaapgelegenheid hadden in plaats van onder de blote hemel te moeten overnachten. Een andere moeilijkheid was: hoe geef je zoveel mensen te eten? Tot ontzetting van bepaalde personen ging onderpastoor Glorieux zelf op schooi. In een parochierelaas stond: "De aardappelen werden bij de boeren verzameld en het brood bij de burgers".

Voor een stukje vlees zorgde juffrouw Depoorter. Mijnheer Glorieux stak er zelf zijn jaarwedde van 236 gulden en 25 cent in. Juffrouw Depoortere getuigde:"Mijnheer Glorieux verzorgde soms zelf de arme mensen in de Sint-Pieter. Hij deed een blauwe short aan, kamde, waste en verzorgde zo goed mogelijk de arme mensen... Hij was werkelijk een duizendpoot". Een beslissende bijeenkomst van de bisschop en de E.H. Glorieux had plaats op 25 November 1830. Dit is het prille begin van twee congregaties: één voor broeders en één voor zusters. Pas in 1832 kregen de broeders een naam. De bisschop schreef aan E.H. Glorieux: "Gij zult ze noemen: Broeders van Goede Werken"!. De zusters zouden nog heel lang moeten wachten op hun naam. Priester Glorieux ontwikkelde een 'Modelinstituut' waar broeders en zusters gezamenlijk konden zorgen voor jong en oud.

In een 'Akte van openlijke dankbaarheid' schreef Glorieux: "De vreselijke stormramp van 29 November 1836 maakte de Sint-Pieter onbewoonbaar ... Sinds de goedkeuring van de broeders was elke schijn voor een instituut voor de zusters verdwenen en waren de moeilijkheden niet opgeheven. Maar de wegzending van 23 gebrekkige bejaarde vrouwen was moreel onmogelijk. En wie moest de was doen voor de oude mannen die dagelijks schoon goed nodig hadden. De

broeders lieten toen de vrouwen door de dienstboden verzorgen ... De noodzaak van een ander tehuis in plaats van de Sint-Pieter deed het plan rijpen een Modelinstituut te bouwen. Daarin konden alle goede werken uitgebreid tot alle klassen van de maatschappij, rijk en arm, jong en oud, van beide geslachten ... worden ondergebracht ...".

Het ontwerp van het Modelinstituut was een groots opzet. Om het geld bijeen te krijgen, begon mijnheer Glorieux met een weldoordachte uitgebreide campagne. Aan alle weldoeners bood hij een gedenkplaat aan met een afbeelding van het Modelinstituut. E.H. Glorieux liet een symbolische tekening maken: een lange stoet van Broeders en Zusters van Goede Werken met hun beschermelingen op weg naar de hemel. Onder de plaat stond: 'Genootschap voor de verbreiding van het liefdewerk tot dubbel heil van de armen'. Een 'Kronijk' uit die tijd verhaalde hoe de broeders met zeer grote ijver bouwden aan dat instituut met zijn vier vleugels van drie verdiepingen.

Eindelijk op 30 Oktober 1845 werden de eerste acht Zusters van Barmhartigheid aanvaard door Monseigneur Delebecque. Op 9 November gaven "Le Journal de Bruxelles" en "L'Echo de Renaix" een uitgebreid verslag van de plechtige inkleding op 30 Oktober, stichtingsdag van de zusters: "Op 30 Oktober had in het instituut van Goede Werken te Ronse een indrukwekkende plechtigheid plaats, waarop sedert lang met ongeduld was gewacht. De Bisschop van Gent heeft het instituut nog eens in al zijn onderdelen bezocht en het verslag aanhoort van de burgerlijke en geestelijke gezagsdragers die met de leiding hiervan belast zijn. Daaruit bleek dat de kandidaat-zusters met een grenzeloze toewijding de verschillende takken van liefdadigheid leiden, zowel voor de burgerij als voor de arme arbeidersstand. Zij zorgden tevens voor de keuken en de was van de broeders en de mannelijke verpleegden. Daarom heeft de bisschop na dit onderzoek hun roeping als authentiek erkend en bevestigd dat hun gemeenschap als religieuze congregatie was aanvaard. De congregatie ontving de naam van Zusters van Barmhartigheid" . Dit is het begin van de Congregatie van de Zusters van Barmhartigheid en van haar verschillende instellingen.

In 1847 was E.H. Glorieux overgegaan tot de oprichting van een 'Landbouwgenootschap van Goede werklieden tot exploitatie van Weldadigheidshoeven'. In een prospectus zette hij het principe, het doel en haar activiteiten uiteen. Het 'Landbouwgenootschap' was een lekenvereniging. Zij leefden in gemeenschap onder statuten die veel weg hadden van een kloosterregel. Ze zouden het leven der armen delen en niet naar rijkdom streven. Het was de bedoeling dat elke Weldadigheidshoeve zichzelf financieel zou bedruipen. De bewoners moesten leven van de opbrengst van de akkerbouw en het verwerken van het vlas. De vrouwen sponnen en de mannen weefden. In 1848 hoorde E.H. Glorieux dat op de Muziekberg de armoede afgrijselijke vormen had aangenomen. Op die berg lag een oude verlaten wijngaard van Baron van Hoobrouck de Moreghem. E.H. Glorieux pachtte er 16 hectaren braakliggende grond. Mensen die werk zochten, waren er meer dan genoeg. In het boerderijtje bracht hij bejaarden, gebrekkigen en enkele wezen onder. Het aantal weeskinderen op de Muziekberg groeide onrustbarend. Ondanks zijn voortdurende bekommernis en zijn onophoudelijke bedeltochten gluurde de honger elke dag om de hoek. De grond leverde weinig op: was zuiver zand en onvruchtbaar. Het was vechten tegen de bierkaai. Het aantal weeskinderen was tenslotte zo groot dat er geen plaats meer was in het boerderijtje. E.H. Glorieux besloot toen maar te verhuizen.

Een kilometer verderop, in het tegenwoordige Louise-Marie, ging hij met de bewoners een stuk bos rooien om er akkerland van te maken. Hijzelf nam zijn intrek daar niet ver vandaan, in het wagenhuis van de grote boerderij die aan een zekere Fiennes hoorde. In die tijd wilde Baron van Hoobrouck, boven op de heuvel, een parochiekerk bouwen. Aanstonds was Priester Glorieux bereid om voor de stenen te zorgen en alzo zijn werklieden werk te verschaffen. Hij bouwde in het gerooide bos een steenoven. Met veel plechtigheid werd de eerste steen van de kerk gelegd. Dat gebeurde heel toevallig op de dag dat Koningin Louise-Marie in 1850 stierf. Ze had tijdens haar leven, met royale giften, voor de bouw van deze kerk bijgedragen. De inwijding van de kerk in 1852 heeft priester Glorieux niet meer meegemaakt, hij was intussen in ongenade gevallen en verbannen naar Dendermonde. In 1848 werd E.H. Glorieux ontheven van zijn functie als directeur van de twee kloostercongregaties. Financiële moeilijkheden maar vooral onbegrip en laster waren de hoofdoorzaken. Hij kreeg zelfs verbod zich nog met zijn broeders of zusters in te laten.

Ondanks deze tegenslagen behield E.H. Glorieux zijn dynamisme en zijn werkkracht. Hij verhuisde naar Heldergem en later naar Smetlede. Overal trachtte hij armen en ongeletterden te helpen. De bisschop noemde hem in 1866 tot pastoor te Smetlede bij Aalst. Vergezeld van zijn dienstmeid Melanie Perdaens (Mele) vertrok hij op 19 Maart 1866 naar zijn nieuwe parochie, gelegen op 10 kilometer van Heldergem. Heel zijn meubilair was op een stootkar geladen en er werd gezegd dat de parochie een arme meer telde. Smetlede was een dorpje met 1100 inwoners. Zoals voorheen trok Pastoor Glorieux ook daar ten strijde tegen het analfabetisme, de armoede en het gebrek aan godsdienstigheid. Hij stelde dan ook alles in het werk om er iets aan te doen. Reeds op 4 Augustus 1866 vroeg hij zijn bisschop om paters Redemptoristen te sturen en er een volksmissie te prediken. Gesteund door medewerkers begon Pastoor Glorieux met enthousiasme de armen en behoeftigen te helpen en onderwijs te verschaffen. Met veel succes richtte hij speelterreinen in voor de jeugd en dit een halve eeuw vooraleer dergelijke projecten algemeen aanvaard werden.