rigidBodyを設定している特定のオブジェクトで衝突を無効にするには、 Layerを追加して、特定のオブジェクトを同じレイヤーに設定する Edit→Project Settings→Physicsで、そのレイヤー衝突マトリクスをOFFにする Inspectorでapplyすると変更が反映する