Nacque a Pisa nel 1876 da Francesco e da Maria Palamidessi, appartenenti alla borghesia pisana di fine ottocento. Quando era studente universitario, incontrò il Ven. Giuseppe Toniolo, famoso docente nell'Università di Pisa e coraggioso animatore di un movimento cattolico di rinnovazione sociale.

Diventato maggiorenne, realizzò il suo sogno di vita religiosa, a cui suo padre si era apertamente dichiarato contrario, presentandosi come postulante alla porta del convento di S.Torpé. Dopo un anno di intensa preparazione spirituale condotta sotto la guida illuminata del P.Pio Bagnoli di S.Giuseppe, poi vescovo dei Marsi, il giovane Carlo Rossi fu inviato a S.Matteo in Arcetri, dove il 1 dicembre del 1898 ricevette l'abito carmelitano. Il 12 dicembre del 1899 emise la professione e la sera stessa partì alla volta di Pisa per compiervi in privato il corso di teologia in preparazione al sacerdozio. Il 21 dicembre del 1901 fu ordinato sacerdote. Fu quindi mandato a Roma, dove frequentò per due anni l'Università Gregoriana, dedicandosi allo studio della teologia e del diritto.

Ritornato in Provincia, attese con passione all'insegnamento e all'educazione dei giovani. Nel 1909 fu chiamato a Roma come aiuto del vescovo Mons. Alfredo Steyart nel suo lavoro di consultore del S.Uffizio. Da quel giorno ebbe inizio la sua ascesa in seno alla gerarchia ecclesiastica. Fu consultore del S.Uffizio e della S.Concistoriale, visitatore apostolico di numerosi seminari della penisola e infine, nel 1920, vescovo di Volterra. Ma già nel 1924 veniva richiamato a Roma come assessore della Congregazione Concistoriale, della quale nel 1930 divenne segretario, essendo stato elevato alla dignità cardinalizia. Consigliere ricercato e apprezzato da Pio XI e da Pio XII, da essi fu utilizzato in questioni particolarmente delicate, come nel 1929 quella della attuazione delle norme del Concordato con l'Italia. Morì il 17 settembre del 1947 a Crespano del Grappa, nella casa di noviziato degli Scalabriniani, congregazione che riconosce nel card.Rossi il suo "secondo Padre". La salma riposa nella basilica romana di S.Teresa al Corso d'Italia.

Nel 1976 fu introdotta la causa di beatificazione e nel 1979 si concluse il processo informativo sulla vita e le virtù del Servo di Dio. Il card. Rossi fu un autentico uomo del Signore, di profonda e perenne vita di preghiera, centrata sulla liturgia e l'eucarestia. Il suo spirito di fede sembrava mantenerlo sempre in orazione. Di un'ascesi molto austera, fino alla fine della sua vita fu di una povertà ammirevole e di una fedeltà gioiosa agli atti penitenziali dell'Ordine, ai quali era stato iniziato nel noviziato, alimentando sempre nello spirito, nell'esistenza, nei frequenti contatti l'attaccamento devoto al suo Carmelo Teresiano. Di notevole senso del dovere, non si risparmiò mai nel servizio della Chiesa, sobbarcandosi con coraggio, costanza e personalmente ai vari impegni affidatigli.