首先你要看老师是在什么情况下邀请你的，如果是周围有别人的情况下，且身份辈分都比你高，老师邀请别人吃饭的时候只是顺带邀请的你，那么你需要有自知之明，礼貌的拒绝，如果老师有什么事情想和你商量，或者安排你做什么事情而单独的邀请的你，明确的表达邀请你的想法，作为学生，你应该表示对老师足够的尊重，结合自己的时间安排，如果不忙，和老师聊一下没什么坏处，如果自己有什么事情或者时间太晚可以礼貌的拒绝，另作安排，同时，出于自我的保护，一般情况下，建议可以和家长沟通，由家长和老师确定好时间，一起沟通，因为无论老师需要和你沟通什么，父母都是你可以无条件信任的人，可以给你最好的建议和帮助。
当然要去，老师不会看谁不爽的，你始终是他的学生，他可能会看不管你的某些行为但老师终归是老师。只要你的心诚，又何必太多的在乎别人的看法呢。这只是我个人的价值观，你也应该有你自己想法，就照着你的想法去做吧，我的看法供你。
