面试后，单位方说了一个时间让去上班，但是回家后想了想觉得不合适，不想去的话，要不要给他们说一下？