注记层采用仿射变换方法进行坐标系转换问题

注记层采用仿射变换方法进行坐标系转换，转换之后位置基本正确，结果如下图所示。
问题：蓝色方框为选中之后注记的位置，方框下面的文字是对应的注记。二者不在一个位置。


 
开启编辑之后，挪动注记位置，方框和文字位置就套合了，有解决办法吗。