Ви маєте на увазі без демонтажу гіпсокартону?
Завдання складне, але спробувати можна.
Огляньте зовнішні укоси, можливо у Вас проблема саме там.
Справа в тому що монтажна піна якої "задували" відстань між рамою і отвором, під час установки вікна, не використовується що називається у відкритому вигляді.
Сонце, перепади температур, дощі і так далі, дуже швидко приведуть піну в непридатність, з'являться щілини.
Тут варіантів кілька, зрізали виступаючу піну, далі на вибір, або штукатурка, або пінополістирол по периметру вікна, далі склосітка армуюча і штукатурка по утеплювачу, наприкінці, наприклад фарбування.
Пінополістирол садимо на клей, відкоси, вирівнюємо, ґрунтуємо.
Якщо тільки зовнішнє утеплення не спрацює, то без демонтажу гіпсокартону на внутрішніх укосах не обійтися.
Збільшувати товщину укосів не куди, вікно повинно відкриватися не впираючись у укіс, так і утеплювач монтується під гіпсокартон, а не на нього.
І всередині двері можна утеплити тим же пінополістиролом, в принципі робота та ж, але на фініші може бути і так полюбився Вам гіпсокартон, який зашпаклюется і забарвиться.
Особливу увагу приділяйте щілинах між гіпсокартоном і рамою, між рамою і отвором, зрозуміло що холодне повітря надходить саме від туди.
Можливо знадобиться силікон (герметик), саме їм заповнюють щілини.
Ще зверніть увагу на підвіконня, можливо і там потрібно герметизація швів, щілин.