Как быть в таких ситуациях? Пошёл вас провожать

Говорят, что после первого свидания из СЗ нельзя позволять себя провожать до дома (вы еще ничего не знаете о человеке, а вдруг он агрессивен и неадекватен). Это советы с интернета. А что делать, если он решил провожать, время 10 часов вечера, вы говорили, что не надо, а он настойчиво пошел с вами провожать вас. Вы дошли до дома, вы начали с ним прощаться, а он сказал, что проводит прямо до этажа и нагло поднялся с вами на лифте. И только возле вашей двери попрощался и ушёл. Вас бы не напугало это? Как нужно поступать в таких ситуациях?