Підвіконня кріпляться на підвіконний брус, тому, якщо порожнеча пристойна, то раджу зняти підвіконня і заповнити порожнечу цементним розчином . Я ще й щільний пінопласт поклав би під розчин. Він захищає від містків холоду в місцях розпірок вікна.
Але якщо у вас дійсно тільки щілина, то задути слабо розширюється монтажною піною можна. На балончику з піною зверніть увагу на показники вторинного розширення.