Kolonihaveejere har boet "ulovligt" i årevis - ingen har sagt noget