Los parámetros de modificación del tamaño de la máquina virtual se tienen que suministrar siempre al arrancar la máquina virtual que vaya a ejecutar tu aplicación. En tu caso, es Java Web Start la que arranca la aplicación. Para especificar unos parámetros de arranque de la máquina virtual lo puedes hacer en el xml jnlp de la aplicación. Creo que existe un elemento del xml de nombre java (o j2se) que tiene un atributo de nombre java-vm-args al que le puedes pasar los parámetros de memoria que quieras. No me sé la sintaxis del xml de memoria, pero te dejo el enlace de la documentación oficial de Java (aunque en inglés)

http://java.sun.com/javase/6/docs/technotes/guides/javaws/developersguide/syntax.html

directamente uno puede asignar los parámetros en panel de control -> Java.:
-Xms128M -Xmx256M -XX:PermSize=128M -XX:MaxPermSize=256M

Pero mi pregunta esta enfocada a que si es posible aumentar la memoria automáticamente, mientras se baja la aplicación desde el jnlp, o si existe alguna de darle esta memoria dentro de alguna clase o antes de de generar el WAR.

todo esto para no estar configurando en cada equipo que baje la aplicacion estos parametros, sino que lo haga directamente una vez cargada la aplicacion.