В popover происходит рекомпозиция при изменении triggerInfo, т.к. он передается как параметр в Composable. Если trigger перемещается, это выражается в подтормаживании, popover как бы "не успевает" за триггером.
Необходимо доработать popover, чтобы он принимал triggerInfo в лямбде, которую можно отложенно запустить в layout-фазе.