W wieku 15 lat rozpoczął studia w Akademii Muzycznej w Wiedniu. Sześć lat później, na zaproszenie Herberta von Karajana, został pierwszym skrzypkiem Filharmoników Wiedeńskich. Od 1963 roku jest profesorem Uniwersytetu Muzycznego w Wiedniu, a od 1993 gościnnym profesorem w Kolonii. W 1969 zdobył „Mozart Interpretation Prize”. W 1970 utworzył Alban Berg Quartett, zaliczany obecnie do najsłynniejszych kwartetów skrzypcowych świata. Artysta gra na skrzypcach Stradivariego „Baron Oppenhem” z 1716 r.
Jako dyrygent zadebiutował w styczniu 1989 roku, z Wiedeńską Orkiestrą Kameralną w Konzerthaus. Od tamtej pory jest zapraszany do współpracy z wieloma orkiestrami europejskimi, takimi jak m.in. Netherlands Chamber Orchestra, Nieuw Sinfonietta Amsterdam, London Mozart Players, Halle Orchestra, Irish Chamber Orchestra, Orchestra da Camera di Padova, Leipziger Kammerorchester. W 1993 roku dyrygował w japońskiej Suntory Hall, a dwa lata później zadebiutował z Filharmonikami Tokijskimi. Często koncertuje i dyryguje w Japonii. W latach 2001-2006 był pierwszym gościnnym dyrygentem Orchestra Ensemble Kanazawa.