Menú Cerrar

Workshop Big Data: “Construyendo un Data Lake en AWS”

El concepto de Big Data cada vez toma más fuerza a nivel Empresarial y Comercial en Chile. Más y más Compañías aprovechan todo el potencial que existe en sus datos, y es por esta razón que AWS Chile y Morris & Opazo (Partner Advanced especialista en Big Data) organizan este viernes 9 de noviembre durante la mañana el Workshop “Construyendo un Data Lake en AWS”, el cual se llevó a cabo en las oficinas de Amazon Web Services en Chile, demostrando todos sus conocimientos reconocidos durante la premiación de APN.

Por parte de AWS la capacitación estuvo a cargo de Jesús Federico ( https://www.linkedin.com/in/jesusf/ ), Solutions Architect de AWS Chile, quien durante la primera jornada del Workshop presentó de manera clara y concisa qué es AWS y los aspectos fundamentales de la Nube de AWS; características de sus principales servicios, las Mejores Prácticas de la Arquitectura de la Nube y los distintos enfoques para implementar Arquitecturas en AWS, el Modelo de Responsabilidad Compartida, las Regiones y Zonas de Disponibilidad en AWS.

Categorías de servicios disponibles en la Nube de AWS
Categorías de servicios disponibles en la Nube de AWS


Esta primera parte fue primordial y le permitió a los asistentes al evento (entre los que se encontraron Jefes y Gerentes de Tecnología de Forum, SmartHomy, DIN SA, Maisasa, Entel, Grupo CGE, WOM, Facenote y abcdin) comenzó a generar inquietudes con Respecto a cómo la Computación en la Nube de AWS, las características Serverless y los diferentes servicios de AWS podrían beneficiarse de las diferentes áreas de su compañía.

Muy contento de esta invitacion al evento.  La verdad es muy constructivo ir aprendiendo, no sólo de lo que digamos es AWS, sino de su socio.  ¡Así que muy agradecido!
Muy contento de esta invitacion al evento. La verdad es muy constructivo ir aprendiendo, no sólo de lo que digamos es AWS, sino de su socio. ¡Así que muy agradecido!” (Luis Contreras, Compañía General de Electricidad SA)


Durante el descanso de la jornada, los asistentes podrán relacionarse entre ellos ya la vez resolver dudas e inquietudes con los expositores del Workshop.

Eliana Correa, Greenfield Sales AWS Chile, compartiendo experiencias con los asistentes al Taller
Eliana Correa, Greenfield Sales AWS Chile, compartiendo experiencias con los asistentes al Workshop “Construyendo un Data Lake en AWS”
Durante el break del Worskhop fue posible encontrarse con los conocimientos y lecciones aprendidas de nuestro Especialista en Big Data, Marcelo Rybertt
Durante el break del Worskhop fue posible encontrarse con los conocimientos y lecciones aprendidas de nuestro Especialista en Big Data, Marcelo Rybertt
Una de las potencialidades de los Workshop de AWS y Morris & Opazo: Resolver dudas e inquietudes de manera personalizada (derecha = Jesús Federico, Solutions Architect de AWS Chile; izquierda = Luis Contreras, Jefe de Tecnología de CGE).
Una de las potencialidades de los Workshop de AWS y Morris & Opazo: Resolver dudas e inquietudes de manera personalizada (derecha = Jesús Federico, Solutions Architect de AWS Chile; izquierda = Luis Contreras, Jefe de Tecnología de CGE).


Esta introducción debido también como antesala para que en la segunda parte del Workshop Marcelo Rybertt, nuestro Country Manager, expusiera de manera detallada qué es Big Data, qué es un Data Lake, cuál es su Flujo de Datos, y cuáles son los servicios y herramientas que nos proporciona AWS para los distintos componentes del flujo de datos.

Para concluir la capacitación, William Guzmán (Jefe de Servicios y Operaciones de Morris & Opazo) presentó en tiempo real 3 de los múltiples casos de uso en los que Big Data puede respaldar las operaciones de una Empresa. Estos fueron:

Big Data no fue el único protagonista del Workshop.  Marcelo Rybertt explicó también qué es Dark Data y el por qué es importante tenerla en consideración
Big Data no fue el único protagonista del Workshop. Marcelo Rybertt explicó también qué es Dark Data y el por qué es importante tenerla en consideración


Análisis en Tiempo Real de Sentimiento en Redes Sociales:

Twitter proporciona una excelente oportunidad de poner a prueba el concepto de Stream de Datos. Durante el Workshop se pidió a los asistentes que publicaran Tweets con ciertas palabras que serían reconocidas por una aplicación de Twitter.

Previamente en una instancia EC2 se ejecutó una aplicación en Nodejs que ‘escuchaba’ los tweets generados y seleccionaba los que contenían las palabras clave configuradas. Una vez se detectaron los tweets, esta aplicación en Nodejs alimentó un flujo de datos en Amazon Kinesis el cual enviaba a un bucket de S3 los tweets sin realizar hasta ese instante ningún tipo de análisis.

Una vez se almacenó un objeto en el Data Lake se ‘disparaba’ una función en AWS Lambda que, apoyada en Amazon Comprehend, identificaba las entidades de cada tweet y realizaba un análisis de sentimiento. Si el idioma original del tweet era diferente al inglés, la función Lambda utilizaba Amazon Translate para generar la traducción hacia este idioma. El resultado de estos 3 análisis (entidades, sentimientos y traducción) se almacenó de nuevo en el Data Lake (en cubos diferentes).

Amazon Athena era la encargada de analizar los datos no estructurados generados por la función Lambda, y hacía que esta información estuviera disponible para cualquier consumidor. El elegido para el Workshop fue Amazon Quicksight, en el cual los asistentes pudieron ver cómo los tweets que ellos mismos generaron durante la sesión aparecieron en las diferentes secciones del dashboard:

  • Tipos de Entidades más mencionadas
  • Sentimientos por minuto
  • Texto original, traducción y sentimiento de cada tuit
  • Localización geográfica del tuit

Jesús Federico, Solutions Architect de AWS Chile, explicando a la audiencia los conceptos básicos de la Nube de AWS.
Jesús Federico, Solutions Architect de AWS Chile, explicando a la audiencia los conceptos básicos de la Nube de AWS.


Análisis de Audio de las Llamadas de un Call Center con Machine learning

Por medio de un tablero implementado en Kibana, las empresas asistentes al Workshop vieron cómo diversos archivos de audio eran procesados ​​y analizados para identificar en ellos las palabras clave, entidades, textos, datos y metadatos que contenían cada uno de ellos. Con esto podría evidenciar una de las Mejores Prácticas para Arquitecturas de la Nube, ya que no existe un rígido endurecimiento entre cada componente del flujo de datos (para este caso de uso se empleó Kibana como consumidor del Data Lake, sistema diferente al caso anterior pero basado en S3 como Data Lake).


Reconocimiento de Imágenes y Video usando Machine Learning

Los asistentes al evento podrán observar cómo un sistema apoyado en Amazon Rekognition estaba cargando una foto de una persona, para luego identificarse en un video o foto diferente si se encontró o no el rostro de la persona con la que se había operado el sistema.

No sólo era posible encontrar este tipo de coincidencias. Adicional a esto, Rekognition entregó información detallada sobre las etiquetas, rasgos, características y celebridades del video o foto en tiempo real.

Son precisamente este tipo de actividades las que permiten que AWS y Morris & Opazo puedan acercar a las Empresas todo el potencial que tiene la Computación en la Nube, en este caso en particular, el valor agregado que tienen las soluciones Big Data. Pero sobre todo, nos permiten escuchar ‘de primera mano’ las inquietudes que generan temas técnicos abordados de manera presencial, práctica y colaborativa. A todos los asistentes, ¡mil gracias por su activa participación en nuestro Workshop!

La activa participación de los asistentes fue vital durante todo el desarrollo del Workshop
La activa participación de los asistentes fue vital durante todo el desarrollo del Workshop “Construyendo un Data Lake en AWS”


Texto:
Morris & Opazo / WG

Publicado en Noticias

Artículos relacionados