La cámara del mundo que hemos esperado

Google ha estado implementando las funciones de video visuales de Astrapodered de Gemini Live muy lentamente, pero está empezando a expandirse. Esto es lo que es usar y lo que necesita saber.
La compañía sugiere que la llegada de la cámara y los controles para compartir la pantalla son parte de una “caída de píxeles de abril 2025”, pero un conjunto de características no programados se siente extraño dado que la función funcionará en prácticamente cualquier teléfono Android.
Cuando inicia la aplicación Gemini en su teléfono Android, una ventana emergente indicará que las funciones Astra-Powered de Gemini Live están listas para probar. La mini ventana emergente dice que puede “hablar sobre ideas, aprender sobre su entorno” o “obtener ayuda con lo que está en su pantalla”. Este último se refiere a la función de intercambio de pantalla, que es como una versión mejorada de Circle to Search.
Anuncio – Desplácese por más contenido
Gemini Live Astra: Cómo acceder
Para acceder a cualquiera de los nuevos modos visuales, necesitará un plan de suscripción avanzado de Google One AI. Si tiene un Pixel 9 Pro, Pro XL, Pro Fold o algunos modelos Galaxy S25, habrá recibido una prueba gratuita sustancial de este nivel pagado. La prueba es de 12 meses en los modelos Pixel 9 Pro y 6 meses en dispositivos S25.
Google nos ha dado un par de formas de acceder a los nuevos controles. Lo más fácil es a través de la aplicación Gemini dedicada. Cuando lance Gemini Live, la interfaz de usuario de estilo de llamada habitual ganará un par de botones adicionales. Hay un botón de cámara y un icono de presentación.
Puedes usar tu voz con la frase de Wake “Hey, Google”. Sobre la barra emergente compacta de Géminis, verá un botón de aquistar “Compartir con Live” que comenzará a compartir la pantalla con IA. Todavía no puede seleccionar una sola aplicación. En cambio, debe compartir toda su pantalla. Esto podría ser intrusivo para algunas personas. Un chip de barra de estado indicará que esto está activo. Tocar le permite cerrar o terminar su sesión rápidamente.
¿Cómo es usar?
El inicio e introducción inicial es muy rápido, pero el visor se abre y es muy fácil de descifrar. Algo imita la interfaz de usuario de la cámara de píxeles, por lo que es instantáneamente familiar para alguien que ha usado los teléfonos de Google por un tiempo. No tienes que usar la cámara trasera. Hay una alternancia para cambiar a la cámara selfie si desea ponerse a sí mismo oa su fondo en el marco y hacer preguntas o consejos.
Al usar el modo Gemini Live Astra, descubrí que el enfoque en la cámara es un poco quisquilloso, ya que las lentes que cambian automáticamente pueden ser molestas. Le aconseja que se quede quieto o mantenga el tema lo más quieto posible. Puedo dar fe de esto, pero a pesar de que algunos sujetos no están enfocados, Gemini se apresura a determinar qué es o producir información sin demasiada dificultad.
No poder acercarse, incluso con teleobjetos dedicados en su teléfono también se siente miope. Si quieres señalar algo en el mundo, tendrás que ponerse muy cerca, o esperas que Géminis pueda calcular a lo que estás señalando.
Para consultas simples o básicas, es perfectamente adecuado. Sin embargo, los mejores casos de uso son para preguntas más profundas como ayuda o asesoramiento sobre objetos, áreas y ubicaciones en lugar de hacer cosas simples que probablemente podría buscar.
Un excelente ejemplo es obtener la fecha calórtica sobre los alimentos o la información de alérgenos. Incluso probé algunas traducciones en tiempo real, pero aunque parecían ser bastante precisas, Gemini Live no da ni muestra texto en pantalla. Solo obtienes señales de audio y respuestas. Google Lens se superpone al texto traducido, por lo que puede ser una mejor opción para traducir señales, texto y más.
Por el momento, debe esperar hasta cerrar una sesión antes de poder “ver” algunas de las respuestas basadas en texto. Entonces obtienes un registro de chat de lo que se dijo, lo que Gemini respondió y cualquier acción que puedas tomar. Esto podría ser un poco mejor implementado, pero por ahora está bien. En conjunto con otras aplicaciones como Google Maps y varios otros servicios, probablemente podría usar esto como una opción de ayuda o tutorial de aprendizaje visual.
Probé las funciones de video de estilo Astra de Gemini Live en el Pixel 9 Pro XL, y aunque no siempre fue instantáneo, se sintió bastante suave, y las respuestas casi siempre fueron lo suficientemente rápidas como para sentirse fluidos.
El intercambio de pantalla se siente un poco menos “natural” que usar una cámara. Debido a que no recibe comentarios visuales, simplemente señales e información de audio, no se siente integrado de la misma manera. Obtener resúmenes de la página web es sobre el alcance de la usabilidad de la función o obtener más información sin salir de una página o pantalla. Apuesto a que esto cambiará a medida que obtengamos más integraciones. Piense en la capacidad de agregar cosas a las listas de compras con URL o información de vuelo a su calendario al hacer planes de viaje. No podemos hacer nada de eso todavía.
Precisión y otras consideraciones
Como casi todas las plataformas de IA, Gemini no es un sistema perfecto. De hecho, puede equivocarse en muchos escenarios. Donde lo hace bien es con el retiro de información.
Descubrí que ciertos elementos causaban problemas en los que Gemini no podía darme información precisa. Esto va a estar bien para las cosas que sabes, y puedes interrumpir efectivamente y corregir el curso de la IA rebelde. El problema aquí es que las alucinaciones sobre cosas que quizás no sepa todo lo que bien podría conducir a problemas.
Por ejemplo, pregunté sobre un cartucho de juego de Gameboy, y Gemini identificó erróneamente el carro y me dio información muy incorrecta sobre el título y el juego. Asegurarse de tener una visión clara de algo dentro del visor ayuda a mitigar esto. Simplemente ajustar dónde “filmé” resolvió instantáneamente el problema sin intervención. Simplemente no puede confiar en la información a ciegas en esta etapa. Géminis todavía es propenso a los errores, y varían de menor a especialización en igual medida.
La cámara del mundo … con advertencias
Android XR y la plataforma AR dependerán en gran medida de Gemini como el medio para interactuar y obtener información sobre el mundo que nos rodea. Gemini Live utilizando funciones Astra es el primer paso para darse cuenta de ese objetivo final. Según las demostraciones que se muestran a fines del año pasado, podríamos estar a unos años de las gafas AR fabricadas en Google, pero esta introducción temprana no es una mala manera de comenzar.
Al igual que cualquier producto de IA, tenga cuidado al 100% de su confianza en la información. Dicho esto, esto parece un gran comienzo y una forma sólida de interactuar con el mundo que te rodea o ayudarte cuando te quedas atascado. Mejorará con el tiempo y mejorará a medida que se introduzcan más puntos de datos, por lo que al menos en teoría, es lo peor que los modos de video en vivo de Gemini, lo que no es tan malo para empezar.
Compartir su pantalla es muy limitada en esta etapa, y aunque es una buena opción secundaria, es aún más limitado. Si puede desarrollarse para jugar bien con más de sus otros servicios, será una herramienta útil. En este momento, es un truco de salón que hace poco más que Gemini Regular.
FTC: Utilizamos ingresos que ganan enlaces de afiliados para automóviles. Más.