Trvalý travní porost v zastavitelném území obce v CHKO - lze tam stavět?

Dotaz zní- Pokud je pozemek veden v KN jako trvalý travní porost a je v zastavitelném území obce, která se nachází v CHKO, je jisté, že na něm lze v budoucnu stavět? Vím, že se musí vyjmout z půdního fondu, že CHKO může mluvit do podoby domu, atd., ale může se stát, že se majitel ke stavebnímu povolení nakonec vůbec neprokouše? Co by moho být překážkou?