精液検査とフーナーテストの結果が悪く、男性不妊がわかりました

現在32歳、主人42歳。
ベビ待ち歴1年で男性不妊にて通院中です。

今年の1月に精液検査とフーナーテストの結果が悪く、男性不妊がわかりました。
その後、先生から人工授精を勧められ、早く結果を出したい思いで迷わずステップアップを選びました。

しかし、いざ人工授精しようと思った矢先に卵が上手く育たなかったり、次は育ったと思ったら主人が採精できなかったりで、半年過ぎたのにまだ2回しかできていません。

そのうち1回は科学流産だったため、このまま人工授精を続けていれば、妊娠できるかもしれません。
でも、もともとせっかちな性格ですし、お互いの年齢や高齢の義両親が初孫を楽しみにしている気持ちを思うと、一日でも早く授かりたくてのんびり構えていられません。

それなのに、たいして妊娠確率の高くない人工授精さえなかなか回数をこなせず、つまづいている間に月日を重ねることに焦りを感じます。
言い方は悪いですが、手っ取り早く確率の上がるIVFにさっさと進んでしまいたいと思うのですが、このような理由でのステップアップは早すぎでしょうか？
先生からはマニュアル通り4～5回やってダメならIVFを視野に入れていきましょうと言われています。
ちなみに主人の精子状態も顕微レベルとは言われないもののあまり良くないですし、私のAMH値も2.8で実年齢より高いです。