Después de mucho investigar cómo hacer para convertir una secuencia de imágenes en videos utilizando mencoder he encontrado como serian los comandos para lograrlo sin muchos problemas:

Codificación a AVI
mencoder 'mf://*.jpg' -mf w=640:h=480:fps=1:type=jpg -of avi -ovc lavc -oac mp3lame -o salida.avi

Codificación a Xvid
mencoder 'mf://*.jpg' -mf w=640:h=480:fps=1:type=jpg -ofps 29.97 -of avi -ovc xvid -xvidencopts fixed_quant=4 -oac mp3lame -o salida.avi

Codificación a H264
mencoder 'mf://*.jpg' -mf w=640:h=480:fps=1:type=jpg -aspect 4:3 -ofps 29.97 -of avi -ovc x264 -x264encopts subq=6:partitions=all:8x8dct:me=umh:bitrate=900:frameref=5:bframes=3:b_pyramid:weight_b:threads=auto -oac mp3lame -lameopts abr:br=32 -o salida.avi

En este momento no voy a ahondar en el significado de los distintos parámetros, los cuales pueden ser encontrados en internet en la documentación de mencoder.