Mis suegros pueden imponernos visitas

Las relaciones con mis suegros no son todo lo buenas que debieran ser, ya cuando éramos novios nos llamaban constantemente para que fueramos a cenar, a comer..., yo trabajaba los sábados (día en el que él les visitaba)y el domingo era el día en el que podía estar con mi pareja, día en el que siempre estábamos invitados a su casa a comer y el hecho de decir "no nos apetece" ni se contemplaba.
Mi marido y yo nos llevamos muy bien y estamos felizmente casados pero a raiz del nacimiento de nuestra primera hija y primera nieta de sus padres, éstos se volcaron de forma excesiva hasta el punto de no dejarnos respirar. La relación se hizo muy difícil y establecimos vernos cada 15 días una vez en su casa y otra en la nuestra como hemos venido haciendo en el año y medio de vida de la pequeña, además cuando ha venido un familiar del pueblo de mi marido hemos ido a visitarle a su casa independientemente de esto y mantenemos una relación aparte con el único hermano de mi marido y su mujer. El problema es que ellos no están conformes y han amenazado incluso con llevarnos a los tribunales por ser las visitas excesivamente escasas ¿alguien puede ayudarme? ¿Sabe alguien qué restricciones nos pueden imponer a mi ya mi marido?

muchas gracias