例えば、フォルダ構成が
ルートフォルダ
├bin
│ └ なんとか.jar
└conf
└ なんとか.properties
ってなっている場合はJARファイルのMANIFEST.MFに
Class-Path: ../conf/
って書いとけばResourceBundleで なんとか.properties を読めるっぽい。
private static final ResourceBundle bundle = ResourceBundle.getBundle("なんとか");
って感じで。
「../conf/」って書くところを間違えて「../conf」って書いちゃうと読めなくなっちゃうっぽい。
あとそれから、MANIFESTの罠（Class-Pathの行の最後に改行がないとクラスパスが正しく設定されない）にも注意。
