いいえ。別段何もしなくてもかまいません。
ただ、何もしないで更地にしておくだけでも税金などの経費が掛かります。
お持ちの土地を何かしらの方法で活用したとして、経費以上の収入が確実に見込まれるのであれば、何もしないよりは良いでしょう。
収益見込みに不安があれば、何もしないというのも一つの方法です。