En Ubuntu y en muchas otras distribuciones GNU/Linux, por defecto, solamente viene activada la opción mover a papelera.
Pero podemos también configurarlo para incluir la opción borrar, o eliminar archivos o carpetas sin pasar por la papelera.
El tener solo la opción de enviar a papelera, permite tener la seguridad de que, en caso de error, se puedan recuperar los archivos.
Pero también supone un trabajo extra, al tener que estar pendiente de vaciar la papelera habitualmente, para evitar ocupar espacio innecesario en nuestro disco duro.
En la mayoría de los gestores de archivos de los principales escritorios, ya sea Gnome, Cinnamon, Plasma, Xfce, Unity, etc. existe la posibilidad de cambiar esta configuración.
En las versiones antiguas de Gnome con el gestor de archivos Nautilus, o el gestor de archivos Nemo de Cinnamon, en la propia ventana pulsamos sobre la pestaña Editar con el botón derecho del ratón.

Al marcar esa línea añadimos la opción: incluir una orden Borrar, Eliminar o la opción que en cada caso se nos ofrezca.
Incluso hoy en día tenemos opciones de configurar que la tecla supr borre los ficheros sin pasar por la papelera.
En la siguiente imagen vemos que a continuación de la opción Mover a papelera tenemos también la opción Borrar.

Aunque antes de efectuar el borrado del archivo, nos saldrá una pantalla para confirmar el borrado.

Añadir la orden eliminar en Gnome 3

Sin esta opción marcada debíamos usar el teclado y pulsar la tecla Shift + Supr para eliminar los archivos sin pasar por la papelera.
Ahora también podemos hacerlo con el ratón.
Al pulsar el botón derecho del ratón sobre cualquier archivo o carpeta en el menú se nos ofrece una opción eliminar justo a continuación de enviar a la papelera.
Recuperar archivos borrados
Recordar que cualquier fichero borrado, eliminado se puede recuperar, si se cumplen ciertos requisitos. En primer lugar se debe apagar el equipo para que no se escriban nuevos datos en el disco.
Lo siguiente es arrancar con una distribución gnu/linux en una memoria usb como puede ser Knoppix.
Lo siguiente es utilizar herramientas como Photorec para analizar el disco en el que se encuentran los archivos borrados.
También puedes leer este post de La mirada del replicante donde habla de los mejores programas que se pueden utilizar para ese cometido.
Gracias por la información, eso facilita los trabajos.