Genau, mit Umlaut geht es um die Möglichkeit, ohne Umlaut ist es die Vergangenheit. Könnten/Konnten, möchten/mochten, hätten/hatten, dürften/durften… denke einfach daran, dass der Umlaut die Aussage verkompliziert:

Wir waren nicht tatsächlich dort, wir wären theoretisch dort gewesen.