Durmisi stroomde door vanuit de jeugd van Brøndby. Hiervoor debuteerde hij op 26 augustus 2012 in de hoofdmacht in een competitiewedstrijd thuis tegen Esbjerg (1–1). Hij speelde tijdens zijn debuutseizoen vier wedstrijden, allemaal als invaller. Durmisi tekende op 24 juni 2013 een driejarig profcontract bij Brøndby. Hij werd officieel gepromoveerd naar het eerste team en kreeg rugnummer 17 toegewezen. Hij dwong vanaf het begin van het seizoen 2013/14 een basisplaats af, eerst als linksbuiten en later als linkerverdediger. Hij maakte op 10 november 2013 zijn eerste doelpunt, de 1–0 in een met 3–0 gewonnen competitiewedstrijd thuis tegen Aarhus. Tijdens dit eerste seizoen zou hij 32 wedstrijden spelen en driemaal scoren. Durmisi maakte op 31 juli 2014 als basisspeler zijn debuut in de voorronden van de Europa League, uit bij Club Brugge. Zijn ploeggenoten en hij verloren die dag met 3–0. Een seizoen later speelde hij met Brøndby wel in het hoofdtoernooi.
Durmisi tekende in mei 2016 bij Real Betis, dat hem voor €2.000.000,- overnam van Brøndby. Hij speelde in de volgende twee seizoenen 51 competitiewedstrijden voor de Spaanse club, waarvan 50 als basisspeler. In maakte hij de overstap naar SS Lazio. Die club verhuurde hem vanaf 2020 ahtereenvolgeens aan OGC Nice, Salernitana, Sparta Rotterdam, CD Leganés en CD Tenerife. In 2024 verkaste hij naar het Poolse ŁKS Łódź
Denemarken
Primera División
Serie A
Ligue 1