Nació en Brescia el 11 de septiembre de 1784 y ordenado sacerdote en 1807.
supo dedicarse con creatividad generosa a quien tenía más necesidad: los jóvenes y entre éstos los más pobres. Para ellos abrió un centro formativo, su «Oratorio» (1812). Al mismo tiempo, se entregaba, como destacará el Obispo, «en apoyo de los párrocos para instruir, catequizar por medio de homilías, de catequesis, de ejercicios espirituales sobre todo a la juventud y especialmente a la más pobres que tenía mayor necesidad, con muy buenos resultados». El 16 de marzo de 1818 es nombrado Canónigo de la Catedral y se le confia la rectoría de la Basílica de S. Bernabé.
Notando, entonces, que muchos de los chicos de su Oratorio, sobre todo los pobres, decaían en su empeño y se desviaban del buen camino, cuando tenían que insertarse en el mundo del trabajo, que por desgracia no garantizaba un sano ambiente moral y cristiano, Ludovico Pavoni decide fundar «un Instituto o Escuela de Artes de carácter benéfico y privado, donde al menos los huérfanos, o abandonados por sus propios padres fuesen acogidos, mantenidos gratuitamente, educados cristianamente, y capacitados para desempeñar alguna arte, a fin de formarles queridos para la religión, y útiles para la sociedad y el Estado». Nace así, en 1821, el Instituto de S. Bernabé.
El Instituto de S. Bernabé unía por primera vez el aspecto educativo, el asistencial y el profesional, pero la fisonomía más profunda «la idea característica» del nuevo Instituto era que «los muchachos pobres, abandonados por sus padres y sus parientes más cercanos, encontrasen todo lo que habían perdido: no solamente pan, vestido y educación en las letras y las artes, sino también una familia.
Pavoni pensó también en los labradores y proyectó una Escuela Agrícola. En 1841, acoge en el Instituto a los Sordomudos.
Para sostener y continuar el Instituto, Ludovico Pavoni ya desde hacía tiempo andaba madurando la idea de formar con sus jóvenes más fervorosos «una Congregación, que unida con los estrechos vínculos de la caridad, y basada en las virtudes evangélicas, se consagrase a acoger y a educar a los muchachos abandonados, y dilatase gratuitamente sus cuidados también a favor de las Casas de Industria, que quizá por falta de Maestros sabios y hábiles en las artes, sienten prejuicios, y agravios» así ya en 1825 escribía al Emperador Francisco I, de visita en Brescia.
Obtenido el elogio del fin de la Congregación, con decreto del 31 de marzo de 1843 de parte del papa Gregorio XVI, llega por fin la aprobación imperial el 9 de diciembre de 1846.
Monseñor Luchi, Vicario General Capitular, haciendo uso de la facultad otorgada por la Santa Sede, erige canónicamente la Congregación de los Hijos de Maria, el 11 de agosto de 1847.
El día después de estallar la insurrección contra los Austríacos, llamada de «los Diez Días», el sábado 24 de marzo de 1849, Ludovico Pavoni acompañaba a sus muchachos a la colina de Salano, a doce kilómetros de Brescia, para ponerlos a salvo del saqueo y de los incendios causados por la revuelta, que justo en la plaza de S. Bernabé había montado una barricada. No muy bien de salud, el 26 de marzo se agrava y al amanecer del uno de abril de 1849, domingo de Ramos, muere.
La beatificación de Ludovico Pavoni confirma el decreto que el 5 de junio de 1947 Pío XII emanó sobre las virtudes heroicas, en el cual es llamado «otro Felipe Neri… precursor de san Juan Bosco… perfecto emulador de S. José Cottolengo». Beatificado el 14 de Abril de 2002 por S.S. Juan Pablo II y canonizado el 16 de octubre de 2016 por S.S. Francisco.