Ich habe das Problem bis jetzt auch nicht richtig lösen können. Ich ersetze meistens das Objekt erst beim Aufprall durch die Stücke. Damit lässt sich, gerade bei spröden Materialien, ein gutes Ergebnis erzielen. Bei z.B. Glas ist der Effekt sonst sehr auffällig. Zusätzlich gibt es die Option bei "Rigid Bodys" mit dem Namen "Start Deactivated", damit lässt sich zumindest das auseinander fallen verhindern.

Aber wie gesagt: Eine perfekte Lösung habe ich nicht.