オイゲン・ヨッフムは1902年11月1日、ドイツ・バイエルン地方の小都市バーベンハウゼンに三人兄弟の次男として生まれた。兄オットーは作曲家、弟ゲオルク・ルードヴィヒもリンツ市やデュイスブルク市などの音楽総監督を歴任した指揮者である。アウグスブルクのギムナジウム時代にピアノとオルガンを学び、ミュンヘンの音楽アカデミーでジークムント・フォン・ハウゼッカーとへルマン・フォン・ワルタースハウゼンに管弦楽法と作曲を師事した。卒業後ミュンヘンとキールの歌劇場でコレペティトールを務め、1927年にミュンヘン・フィルハーモニー管弦楽団を指揮（ブルックナーの交響曲第7番をメインとするプログラム）してデビュー。同年にキール歌劇場のカぺルマイスターとなり、29年まで務めた。その後はマンハイム州立劇場（29-30年）、デュイスブルク歌劇場（現ライン・ドイツ・オペラ、30-32年）、ベルリン歌劇場のカペルマイスター（32-34年）を歴任したのち、34年から49年までカール・ベームの後任としてハンブルク州立歌劇場の音楽総監督を務め名声を高める。49年にはバイエルン放送交響楽団の創設に関わり、60年まで首席指揮者を務めた（61年からはラファエル・クーベリックが後継としてその任に就いている）。またアムステルダムのロイヤル・コンセルトヘボウ管弦楽団では首席指揮者（61-64年）としてベルナルト・ハイティンクを補佐するかたわら、バイロイトやザルツブルクなどの主要音楽祭にしばしば登場。ロンドン交響楽団からは桂冠指揮者称号を授与されている。みずから「ヨーロッパの中でも有数のオーケストラの一つ」と呼んで愛したバンベルク交響楽団では68年から音楽顧問、71-73年には首席指揮者を務めたほか、生涯にわたって親密な関係を保ち続けた。70年代半ば以降は特定のポストから離れてフリーの立場で各名門楽団に客演を続け、数々の名演を残す。世界初演作品にボリス・ブラッハーの〈弦楽のための協奏曲〉（42）、ゴットフリート・フォン・アイネムの〈ダンス-ロンド〉（59）、カール＝アマデウス・ハルトマンの交響曲第6番など。87年3月26日、ミュンヘン郊外の自宅で死去した。