Di famiglia modestissima, a dieci anni fu mandato nel "Collegio Serafico" di Sommariva Bosco. Compì poi il noviziato a Racconigi, studi teologici a Busca e Revello sino all'<ordinazione> a Torino nel 1909. Laureatosi in Lettere e Filosofia, si dedicò all'insegnamento in provincia di Cuneo sino a che, nel 1919, fu chiamato a ricoprire l'incarico di vicesegretario generale dell'Ordine dei Cappuccini. Nel 1922, Ossola era a Roma, al governo patriarcale della Basilica di San Lorenzo in Verano, che lasciò nel 1937 allorché Pio XI lo consacrò vescovo e lo nominò vicario apostolico per la Missione Galla.
Padre Ossola restò in Etiopia sino al 1943, quando Pio XII lo richiamò in Italia e lo nominò, in seguito alla morte del vescovo di Novara, Amministratore apostolico della Diocesi novarese. L'incarico fu affidato a Monsignor Ossola pochi giorni dopo la costituzione della Repubblichetta di Salò, ma il prelato, non essendo "vescovo residenziale", non dovette prestare giuramento al governo della RSI.
Giunto tuttavia a Novara con la nomea di fascista (per le opere che col finanziamento del regime aveva realizzato in Africa), Monsignor Ossola, nei diciotto mesi che videro imperversare nel Novarese tedeschi e fascisti, seppe guadagnarsi l'appellativo di "vescovo dei partigiani", grazie al suo comportamento in difesa delle popolazioni della Diocesi. Molto importante fu poi l'opera di mediazione che il prelato seppe svolgere durante le trattative che portarono alla resa dei nazifascisti e alla liberazione di Novara.
Nel dopoguerra, per questa ragione, l'amministrazione comunale ha proclamato Giacomo Leone Ossola - nominato vescovo di Novara il 9 settembre 1945 - Defensor Civitatis. Ossola, gravemente malato, rinunciò nel 1950 all'incarico di vescovo di Novara (la città lo ricorda ora con un monumento) e, poco prima della morte, Pio XII lo innalzò alla dignità arcivescovile di Geropoli di Frigia, in Siria.