Nato nel 1925 a New York (nel Bronx), vive e lavora a New York. Yitzroch Loiza Grossberg studiò musica per la prima volta alla Juilliard School di New York (1944-1945), dove divenne amico di Miles Davis e divenne un sassofonista jazz con lo pseudonimo di Larry Rivers. Dal 1947 al 1951 studiò arte con Hans Hofmann e poi seguì corsi di storia dell'arte alla New York University.
La sua prima mostra personale ha luogo nel 1949. All'inizio degli anni Cinquanta reintroduce la figurazione nella pittura americana per poi dare una versione molto personale della Pop Art. Larry Rivers è morto nell'agosto 2002 a Southampton, negli Stati Uniti.
Larry Rivers reinterpreta i dipinti classici, raddoppiando e scomponendo i suoi soggetti, non senza ironia. Si esprime dapprima attraverso la pittura – La sepoltura (1951) riprende La sepoltura a Ornons di Courbet -, poi in sculture o assemblaggi in rilievo (Olympia nera, 1970, che dà una versione "nera" dell'Olympia di Manet).
Si preoccupa della storia dell'arte ma anche della Storia stessa: le guerre, la Rivoluzione russa, l'Olocausto appaiono in modo ricorrente nei suoi dipinti. Dalla fine degli anni settanta, Larry Rivers realizza video, un film (Africa and I), dipinge o disegna personaggi, ritratti e continua la sua serie di Reinterpretazioni.