Ludovico Pavoni nasceu em Bréscia, no dia 11 de setembro de 1784, primeiro de cinco filhos de Alexandre Pavoni e Lelia Poncarali.
Viveu numa época caracterizada por profundas mudanças políticas e sociais: a Revolução Francesa (1789), a Revolução Jacobina (1797), a dominação napoleônica com suas diversas denominações e, enfim, desde 1814, a dominação austríaca.
Pavoni era uma criança brilhante e tinha um grande interesse pelo mundo ao seu redor enquanto respondia aos problemas sociais de sua época. Ele era hábil em pintura e caça e também era bom em passeios a cavalo.
Recebeu sua formação teológica na casa do padre dominicano Carlo Domenico Ferrari - futuro - enquanto sofria uma paralisação nos estudos devido à era napoleônica em que o imperador francês fechava os . Ele foi ordenado ao em 1807. Pavoni foi nomeado assistente do bispo Gabrio Nava em 1812 e nomeado reitor da igreja em 16 de março de 1818 - ele foi designado para a Igreja de São Barnabé.
Em 1818 recebeu autorização para fundar um orfanato e uma escola profissional que em 1821 se transformaria no "Instituto de São Barnabé". Ele decidiu que o primeiro ofício desta escola seria no campo da edição de livros e assim em 1823 criou "A Editora de São Barnabé" - a precursora da atual editora Ancora.
Ele abriu um centro para homens e o expandiu para um albergue em 1821 para seu abrigo e para incluir uma escola para ensiná-los um determinado ofício que incluía programas para instruí-los a serem carpinteiros e ourives, além de ensiná-los a ser ferreiros sapateiros enquanto focando também na fabricação de tintas. Ele estendeu isso para surdos e mudos em 1823. Ele também comprou uma fazenda nessa época para montar uma seção agrícola para a escola.
Pavoni fundou sua própria congregação de padres e irmãos em 1825, conhecida como os Filhos de Maria Imaculada, comumente chamados de "Pavonianos". O Para Gregório XVI concedeu seu assentimento oficial à presença da congregação em Brescia em 31 de março de 1843, após ter recebido a aprovação de oficiais da Cúria Romana. Oconcedeu consentimento imperial em 9 de dezembro de 1846. Em 8 de dezembro de 1847, ele e os primeiros membros da congregação emitiram a profissão religiosa, após aprovação diocesana e ereção canônica do vice-capitular da Diocese de Bréscia Mons. Luchi.
A epidemia de cólera em 1836 o levou a cuidar de suas vítimas e a acolher mais homens. Em 3 de junho de 1844, ele foi condecorado com o título de Cavaleiro da Coroa de Ferro do Imperador da Áustria Ferdinando I.
Em 1849, ele fez o possível para ajudar os cidadãos que estavam no meio de uma epidemia de cólera na época do conflito dos Dez Dias entre a Áustria e Bréscia, onde esta se rebelou contra a primeira. Os austríacos se prepararam para saquear Brescia e assim Pavoni conduziu os homens sob seus cuidados ao noviciado localizado na colina de Saiano.
Pavoni morreu na madrugada de 1 de abril de 1849 em Saiano - Domingo de Ramos - enquanto o conflito durava e Brescia pegava fogo. A ordem que ele estabeleceu recebeu plena aprovação papal do Papa Leão XIII em 24 de setembro de 1882 (e suas constituições em 1897) e passou a inspirar outros padres como Giovanni Bosco e Leonardo Murialdo.
A ordem que Pavoni estabeleceu floresceu em todo o mundo e conta com 210 membros em um total de seis nações, incluindo Espanha e Colômbia. Em 2008, havia 34 casas e das 210 religiosas, 107 eram sacerdotes.
