Unity 3Dモデルの最適な高ポリカウントは、使用ケース（メインキャラクター対バックグラウンドの小道具）とターゲットプラットフォームによって異なります。デスクトップゲームでは通常、アセットあたり10,000～100,000ポリが使用されますが、モバイル/VRではパフォーマンス低下を避けるために5,000～30,000ポリが必要になることが多いです。
Unityはリアルタイムレンダリングを利用しているため、ポリゴン数が増えるとGPUの負荷が増えます。詳細とスムーズなフレームレートのバランスを取るために、メインキャラクターのような焦点となるオブジェクトにポリゴンを集中させるのではなく、バックグラウンドの要素にポリゴンを割り当てる方が良いでしょう。
もし不確実なら、まずは中間的なカウントから始めましょう。