Remember ____ it used to be a quiet village?

这里是when引导的宾语从句,整个从句做remember的宾语,when在从句中做 it used to be a quiet village的时间状语.
that在宾语从句里面不能做时间状语,只能用when.
楼主所说的 Remember the time when ……是when引导的定语从句,先行词是the time,也是正确的,这里不是省略了the time,而是直接用when引导的宾语从句做remember的宾语.
两者的区别就在于,remember the time when 中remember的宾语是the time,when引导的修饰the time的定语从句.而remember when 中,remember的宾语是when引导的从句,这里when引导了一个宾语从句.
when 引导宾语从句的例子还有：
He didn’t say when we should meet again.
他没有告诉我什么时候我们能再见面.（when引导的宾语从句做say的宾语）