geminiCLIを使っていないので、他のツールでの経験での回答になりますが、
うまく行かないときは一度ツールを閉じて再度開いてからまた指示を出してやり直してもらったりします。

あとはAIになんで失敗しているのかを考えてもらいます。