老人独居的，虽然说身体还可以，但是不放心，还是找了个保姆照顾。保姆有自己独立的居住房间。最近老人跟我们说，保姆老是带一个男的回来，说是她老公。我们问了保姆，她说是她老公，因为来杭州没地方住，所以来我们家。还说就晚上来住，白天在外面打工不会来的。因为这个保姆已经做了2年了，照顾老人的保姆一直不太好找。如果就这么辞退保姆，还真有点犹豫有点舍不得。你们说该怎么办。