я невидела своего отца уже 5 лет, хотя он живет в соседнем доме

Тогда уже можете его и отцом не считать, если он плюет и на Вас и на своих внучек, - значит это не совсем нормальный человек, за поведение которого ручаться не приходиться. Поэтому, если он в дальнейшем проявит интерес, то нужно будет от него держаться подальше. Потому, что такой человек не может быть вменяемым и от него можно ждать, что угодно.