Para mi no es un problema, me sale ese mensaje desde antes y después de instalar mods a mi server pero no pasa nada dentro del mismo, yo y mis amigos podemos jugar normalmente, te recomiendo ignorarlo, pero si el mismo error hace que el server se cierre, entonces dale mas RAM, para eso debes escribir en un bloc de notas el comando al final de esta pagina: https://minecraft.net/download, luego cambiar la extención del archivo a .ini y ponerlo en la carpeta donde esta instalado tu servidor.

PS: el numero que esta antes de las "M" es la cantidad de Megas que le darás al servidor. En este caso, si dejas el comando así como esta le estarías dando un giga al servidor.