geminiCLIを使っていないので、他のツールでの経験での回答になりますが、
うまく行かないときは一度ツールを閉じて再度開いてからまた指示を出してやり直してもらったりします。

あとはAIになんで失敗しているのかを考えてもらいます。

これ、私もあります。。

GeminiCLIが出力したコマンドをChatGPTやGeminiに貼って、どんな問題が起きてる？と、他のAIの検討を聞いてGeminiCLIにどんなプロンプト投げたら良いかを相談したりしてます。
それでもうまくいかなかった場合は諦めて最初からやり直したりしてますね。。