Le he cambiado la voz a mi robot aspirador

…y ahora tiene tres personalidades

Mi robot aspirador es un Xiaomi Robot Vacuum S12. Limpia bien, se vuelve solo a la base y habla en un inglés educado y aburrido: «Starting cleaning». Esta tarde me propuse trastear con él sin rootearlo, solo con lo que ofrece por la red de casa. Acabó diciendo esto al arrancar:

«¿Otra vez quieres que te limpie la mierda de la casa? Venga, vale…»

Este es el diario de cómo llegué hasta ahí: desde encontrar el robot en la red hasta instalarle tres voces hechas con IA, cambiando de una a otra con un comando. Con fallos incluidos, que fueron lo más instructivo.


1. Encontrar el robot en la red

Los dispositivos Xiaomi hablan un protocolo propio, miIO, por UDP en el puerto 54321. Si mandas un paquete de «hola» a toda la red de casa, contestan todos los que lo entienden. El robot respondió desde su IP, con su ID de dispositivo.

Ese «hola» lo contesta a cualquiera. Para todo lo demás (preguntarle el estado, mandarle limpiar, cambiarle la voz) hace falta su token: una clave de 32 caracteres que se genera cuando lo emparejas con la app Mi Home y que la app ya no enseña.

2. Sacar el token sin ensuciar el Mac

La herramienta de referencia es el Xiaomi Cloud Tokens Extractor: entras con tu cuenta de Xiaomi y te lista cada dispositivo con su token y su modelo exacto. Para no instalar dependencias de Python en el Mac, la metí en Docker con el código fijado a una versión concreta.

Se puede entrar con usuario y contraseña o escaneando un QR con la app, que esquiva la verificación en dos pasos:

Screenshot

Y ahí estaba, con una sorpresa: yo creía que tenía un X10 o un S10, y es un S12, modelo xiaomi.vacuum.b106eu.

Una regla que me puse desde el principio: el extractor lo ejecuto yo en mi terminal, no a través del asistente de IA con el que estaba trabajando. Quiero trastear un poco a bajo nivel, ya luego le daré las riendas, pero necesito trastear un poco las tripas yo.

3. Primera conversación con el robot

Para hablar con él uso python-miio. Primer tropiezo: la versión publicada en PyPI (0.5.12) no arranca con la versión actual de click y además no trae el modo genérico que necesita este robot. Solución: instalarlo desde el repositorio y fijar click:

pipx install "git+https://github.com/rytilahti/python-miio.git"
pipx inject python-miio "click<8.2"

El robot usa MIoT, el sistema de Xiaomi en el que cada función es un «servicio» con propiedades y acciones numeradas. Con el modo genérico, él mismo te cuenta lo que sabe hacer:

miiocli genericmiot --ip 192.168.1.X --token $MIIO_TOKEN status
miiocli genericmiot --ip 192.168.1.X --token $MIIO_TOKEN actions

Batería, modo, potencia, vida de los cepillos, mapas guardados… y 52 acciones: limpiar, fregar, volver a la base, programaciones, mapas, zonas… El «hola mundo» fue un script de diez líneas: sal de la base, da una vuelta y vuelve. Funcionó a la primera, y eso engancha.

Engancha, porque el primer paso mola, pero trastear con su movimiento sobre todo en mi modelo que es básico, fue una tortura, tanto para mí como para Claudio, hasta el punto que lo dejamos por imposible, mi versión no permite el registro de coordenadas, sino que haciendo giros y pasos, que a priori era un simple «pues reconstruye a partir del log y tendremos las posiciones», pues va a ser que no, ohhhhh 😢

4. La pista: la voz se descarga de una URL

Entre las 52 acciones había dos del servicio de idioma: get-download-status y download-voice. La primera me dijo qué voz tenía: en_US. La segunda pide tres cosas:

ParámetroQué es
target-voiceel nombre de la voz
voice-urlla dirección desde la que descargar el paquete de voz
voice-mdfivesu huella MD5, para comprobar que llega entero

Es decir: si le das una URL, el robot se descarga la voz de ahí. Y la URL puede ser tu propio ordenador.

5. ¿Qué hay dentro de un paquete de voz?

No encontré ninguna voz en español para descargar, pero sí al autor de un paquete de voz de GLaDOS en ucraniano que documenta el formato de varias marcas. Para Xiaomi: un .tar.gz con mp3 sueltos, cada uno con un número que corresponde a una frase (130.mp3 = «Empezando la limpieza», 201.mp3 = «Limpieza terminada»…). 84 frases en total.

Dato curioso: el propio autor reconocía que nunca había conseguido instalarlo en un xiaomi.vacuum, porque no tenía ninguno. Yo sí.

6. La voz: ElevenLabs

Para las frases usé ElevenLabs. Hice un pequeño casting con la misma frase en varias voces en español; me gustaba la idea de un Willy (así se llama nuestro robot) en plan héroe de dibujos de rescate. Dos aprendizajes de esta parte:

  • ElevenLabs no deja diseñar voces que suenen a niño: la primera descripción la bloqueó. Hubo que pedir «actor adulto haciendo de héroe de dibujos».
  • Mi plan tenía el cupo de voces propias lleno, así que acabé usando una que ya tenía guardada, con ajustes de más energía (menos estabilidad, más estilo).

Luego tocaba reescribir las 84 frases con personalidad: «Starting cleaning» pasó a ser «¡Willy al rescate! Empieza la misión de limpieza».

7. Primer intento: lo descarga… y lo ignora

Con las frases generadas, las empaqueté en el formato numerado, levanté un servidor web temporal en el Mac y le pasé al robot la URL y el MD5. En el registro del servidor apareció esto:

192.168.1.X "GET /willy_es.tar.gz HTTP/1.1" 200

El robot se lo había descargado. Pero seguía hablando en inglés, y el estado de la descarga no se movía de 0. Lo descargaba y lo tiraba.

8. La pista buena: el S12 es un Ijai por dentro

Volviendo a la lista de funciones del robot, sus tipos de limpieza se llamaban Global, Corner, Area, Point, Explore… Y esos nombres coincidían con los archivos de los paquetes de Ijai, el fabricante que hace muchos robots para Xiaomi: 12sound_corner_clean_start.mp3, 14sound_point_clean_start.mp3…

El formato de Ijai es otro:

  • un .zip, no un .tar.gz;
  • 91 archivos con nombre en vez de números (11sound_global_clean_start.mp3, 43sound_I_am_here.mp3…);
  • un md5.ini con la huella de cada archivo.

Rehice el paquete (de 87 frases distintas, 34 eran las mismas de antes y no hubo que pagarlas otra vez), repetí la orden y:

[18:47:13] servidor: "GET /willy_es_ijai.zip HTTP/1.1" 200
[18:47:16] {'destino': 'es_ES', 'actual': 'es_ES'}
[18:47:16] ¡voz instalada!

En tres segundos pasó de en_US a es_ES 🙌🏻 🙌🏻 🙌🏻

9. Una voz no era suficiente

Si se puede cambiar una vez, se puede cambiar siempre. Organicé las voces en sets: cada uno es una carpeta con un frases.json (nombre de archivo → texto) y, si quiere, su propia voz y modelo. Dos scripts hacen el resto:

./voces.py crear borde   # genera con ElevenLabs las frases que falten y monta borde.zip
./voz.py borde           # sirve el zip desde el Mac y se lo instala al robot
./voz.py heroe           # vuelta al héroe

El audio se guarda en caché por texto y voz. Si un set reutiliza una frase, o lo reconstruyes, no se vuelve a pagar.

Willy borde

Mismo robot, mismas 91 frases, pero sarcástico y un poco bruto:

Cuándo suenaWilly borde dice
Al empezar a limpiar«¿Otra vez quieres que te limpie la mierda de la casa? Venga, vale…»
Al volver a la base«Vuelvo a casa, porque estoy hasta las narices de trabajar por ti, flojo.»
Al buscarlo«¡Aquí estoy! ¿Tanto te cuesta mirar debajo del sofá?»
Si se atasca«Me he atascado. Gracias por llenar el suelo de basura. Ven a sacarme.»

Bonus: que diga todas las frases sin moverse

No hay ninguna orden para que el robot reproduzca un audio cualquiera: cada frase va ligada a un suceso (empezar, terminar, atascarse…). Pero «buscar robot» sí se puede lanzar cuando quieras, y reproduce siempre el mismo archivo, 43sound_I_am_here.mp3. El truco: para cada frase, instalar el set con ese archivo cambiado por la frase, lanzar «buscar robot» y pasar a la siguiente. Al acabar, se reinstala el set original. Unos 9 segundos por frase, sin que el robot se mueva de la base.

Lo que me llevo

  • Sin rootear se puede llegar muy lejos. Todo esto usa las mismas órdenes que la app oficial; no he tocado el firmware.
  • Pregúntale al dispositivo antes de buscar en internet. La lista de acciones del propio robot me dio tanto la función de voz como la pista de que era un Ijai.
  • Un fallo con datos vale más que un éxito sin ellos. El primer paquete no funcionó, pero el registro del servidor me dijo que el robot sí lo descargaba. Eso descartó la red y dejó solo el formato como sospechoso.
  • Los secretos, fuera del chat. El token y la contraseña nunca pasaron por la IA con la que trabajaba; solo los scripts los leen del .env.
  • Con ElevenLabs, cachea. Tres sets de 91 frases cuestan dinero; con caché por texto, rehacer o reutilizar no cuesta nada.

El repo

Por si quieres trastearlo tú, ponerle tu propia voz, o incluso onomatopeyas 🐖 🐓 🐕

https://github.com/ablancodev/willy-voces

Próximamente

Por el camino también conseguí leer la ruta que va haciendo el robot y dibujar el mapa en HTML, con la idea de decirle «Willy, ve a la cocina». Aún no está fino, es más, está muy lejos de estar fino, así que esto de llamar a Willy y ponerle una bandeja encima para que me traiga los frutos secos de momento me quedo con las ganas.

Pintaba bien la cosa, pero nada.

Eso si, mi Willy ahora es el superheroe que nos ayuda en casa, y todos lo respetamos un poco más.