Terje Rypdal har vært en sentral skikkelse i norsk musikkliv siden 1960-årene, først som pop- og rockgitarist, senere som jazzgitarist i samarbeid med bl.a. Jan Garbarek, sjangeroverskridende leder for egne grupper og produktiv komponist innen moderne samtidsmusikk. Han har i hele sin karriere ubesværet beveget seg mellom, og til dels blandet, popmusikk, rock, seriøs samtidsmusikk og jazz med sterk vekt på det improvisatoriske.
Rypdal ble tidlig opptatt av musikk. Han spilte piano fra han var fem år gammel og tok opp gitaren da han var 13. Etter examen artium studerte han musikk ved Universitetet i Oslo og ved Musikkonservatoriet i Oslo. Han studerte komposisjon under Finn Mortensen og improvisasjon med den amerikanske jazzmusikeren og komponisten George Russell.
Allerede 1961 var Rypdal med på å starte gruppen The Vanguards, som var sterkt påvirket av britiske The Shadows. Inspirert av Hank Marvin fra denne gruppen utviklet Rypdal en særegen, melodiøs og ren spillestil. The Vanguards ble svært populære og tok etter hvert spranget ut i den rene pop-slagerverdenen med sangen Mot ukjent sted (1965), som ble en landeplage. Men denne retningen passet ikke Rypdal, og 1967 forlot han The Vanguards og dannet gruppen Dream, som var langt mer eksperimentell og spilte psykedelisk rock, inspirert av bl.a. Jimi Hendrix, men med sitt eget særpreg. Dream gikk imidlertid i oppløsning 1969, samme år som Rypdal giftet seg med popsangeren Inger Lise Andersen. De var et hett par i det norske popmiljøet i slutten av 1960- og begynnelsen av 1970-årene.
Men det var som jazzmusiker Rypdal skulle få sitt internasjonale gjennombrudd. Han ble gitarist i kvartetten til saksofonisten Jan Garbarek, og de spilte begge med George Russells storband. De innledet også et samarbeid med den tyske plateprodusenten Manfred Eicher, som var i ferd med å starte sitt plateselskap ECM. Garbarek og Rypdal ble toneangivende fra begynnelsen, og begge har siden gitt ut en lang rekke plater på det etter hvert verdenskjente selskapet. Rypdal har vært sentral i å danne begrepet “The Nordic Sound” i europeisk samtidsjazz. Hans karakteristiske, rene gitartone med sine lange glidninger har skapt assosiasjoner til isbreer og åpen natur hos mange europeiske og amerikanske lyttere.
Men parallelt med jazzkarrieren, som har brakt ham verden rundt og gitt ham anledning til å spille sammen med en rekke av verdens ledende jazzmusikere, har Rypdal bygd opp en karriere som seriøs samtidskomponist. Også her har han gjort seg bemerket ved å våge å bygge på melodiøse tradisjoner og skrive inn nyromantiske passasjer i sin samtidsmusikk. Et annet kjennetegn ved ham er oppfinnsomhet når det gjelder instrumentsammensetninger. Tåkelursonaten for el-gitar, synthesizer, tåkelur og F-16 jagerfly, urfremført 30. august 2002 på Lindesnes fyr, er et eksempel på det. Han har komponert en lang rekke store verk, hvorav flere er innspilt og utgitt av ECMs klassiske avdeling. 1975 kom hans første symfoni, og det har så langt blitt fire til. 2000 kom Double Concerto & 5th Symphony. Han har skrevet en rekke bestillingsverk for diverse festivaler, f.eks. Lux Aeterna, et verk han skrev til Jazzfestivalen i Molde 2000 og som ble urfremført i Molde kirke med Iver Kleive ved kirkens nye orgel.
Til tross for sin høye profil som internasjonal jazzgitarist og komponist har han hele tiden deltatt i andre musikalske sammenhenger. Blant annet har han vært fast medlem i Ketil Bjørnstads The Sea Quartet, han har gjenopptatt samspillet med ungdomskameratene i The Vanguards i form av sporadiske konserter og plateinnspillinger, og han har hatt et vedvarende samarbeid med tungrockgitaristen Ronni Le Tekrø.
Terje Rypdal har mottatt flere hedersbevisninger og priser, blant annet Norsk Jazzforbunds Buddypris 1985, Gammlengprisen 1990 og Spellemannprisen 1982 og 1995.