1962年桐朋学園大学音楽科卒。藤原歌劇団公演『修道女アンジェリカ』にてデビュー。ニューヨーク、ヨーロッパで研鑽を積み、1966年ミトロプーロス国際指揮者コンクール、1969年カラヤン国際指揮者コンクールでともに第4位入賞。1972年、芸術選奨文部大臣新人賞とバルセロナのシーズン最高指揮者賞を受賞。

古典派からロマン派にかけてのレパートリーを根幹に、意欲的な活動を展開。これまでに読売日響、ブレーメン、マンハイム、ハンブルク、レーゲンスブルクの各歌劇場の指揮者、エンスヘデ市立歌劇団第一指揮者、東京シティ・フィル、名古屋フィル、関西フィルの常任指揮者を歴任。2000年から4年がかりで東京シティ・フィルと取り組んだワーグナー『ニーベルングの指環』全4作ツィクルス上演では、その功績により2003年度芸術選奨文部科学大臣賞を受賞。

ヨーロッパの歌劇場で積み上げてきたオペラに対する深い造詣、特にワーグナー作品を積極的に日本楽壇へ紹介してきた功績には特筆すべきものがあり、2014年〜18年には新国立劇場の第6代オペラ芸術監督を務めた。芸術監督在任中も『パルジファル』（演出：ハリー・クプファー）、『ニーベルングの指環』を含むワーグナー作品で特に高い評価を集め、「飯守の解釈は、完全なるワグネリアン精神によるもので、高貴にして雄大であり、ダイナミクスやフレーズの構造は熟練したコントロールがなされ、すべてが偉大なドイツの巨匠たちの最良の伝統を受け継いでいる」（「DER NEUE MERKER」誌（ウィーン））と評された。さらに新国立劇場開場20周年記念公演『フィデリオ』で演出家にカタリーナ・ワーグナー（バイロイト音楽祭総監督）を招聘し、「（新国立劇場が）世界トップクラスのオペラハウスに成長したことをはっきりと証明した」（「OPERNGLAS」誌（ドイツ））と激賞されるなど、芸術監督としても優れた手腕を発揮して開場20周年シーズンを圧倒的な成功に導き、同劇場の国際的地位の飛躍的向上を実現した。
現在、仙台フィルハーモニー管弦楽団の常任指揮者、東京シティ・フィル桂冠名誉指揮者、関西フィル桂冠名誉指揮者。
CD制作に関してはフォンテックレーベルから多数リリース、その演奏の充実ぶりが各誌より絶賛されている。

2000年度第32回サントリー音楽賞、2004年11月紫綬褒章、2008年第43回大阪市市民表彰、2010年11月旭日小綬章、2012年度日本芸術院賞、2014年度第56回毎日芸術賞。文化功労者（2012年度）。2014年12月より日本芸術院会員。