vagrant ansible sys.stdout.enconding is None

Estoy desplegando una máquina con vagrant y ansible en la que use vars_promt, mi intención es hacer una serie de preguntas previas al despliegue de una máquina y llevaba un buen rato pegándome con un error, concretamente este :

Traceback (most recent call last):
  File "/usr/bin/ansible-playbook", line 309, in 
    sys.exit(main(sys.argv[1:]))
  File "/usr/bin/ansible-playbook", line 249, in main
    pb.run()
  File "/usr/lib/python2.7/dist-packages/ansible/playbook/__init__.py", line 305, in run
    play = Play(self, play_ds, play_basedir, vault_password=self.vault_password)
  File "/usr/lib/python2.7/dist-packages/ansible/playbook/play.py", line 65, in __init__
    self.vars             = self._get_vars()
  File "/usr/lib/python2.7/dist-packages/ansible/playbook/play.py", line 672, in _get_vars
    vname, private, prompt, encrypt, confirm, salt_size, salt, default
  File "/usr/lib/python2.7/dist-packages/ansible/callbacks.py", line 662, in on_vars_prompt
    result = prompt(msg, private)
  File "/usr/lib/python2.7/dist-packages/ansible/callbacks.py", line 648, in prompt
    msg = prompt.encode(sys.stdout.encoding)
TypeError: encode() argument 1 must be string, not None
Ansible failed to complete successfully. Any error output should be
visible above. Please fix these errors and try again.

Leer el traceback de python al principio es un poco ruidoso, pero hay que leer detenidamente la traza y veremos claramente el problema. Yo al principio no lo he hecho y eso me ha llevado a dedicarle más tiempo 😀

Existe un problema documentado en ansible que genera este error cuando no es capaz de generar la codificación de salida, no se si es exactamente un bug de python2.x o es de ansible, por que en algunos casos recomiendan directamente migrar a python3 aunque ansible está desarrollado con python2.7.

Si queréis entreneros veréis que efectivamente sys.stdout.enconding devuelve None y de ahí la execepción que genera ansible.

Ahora bien,¿ como lo solucionamos ? forzando un tipo de codificacion con la variable de entorno PYTHONIOENCODING

export PYTHONIOENCODING='utf-8'

De esta manera ya podemos lanzar el provisionamiento de la máquina

vagrant provision

Esto está bien, pero no es práctico, ya que lo que queremos es olvidarnos de tener que hacer cosas manualmente, por eso automatizamos. Pues bien, hay una forma de agregar esto, y dejar nuestro Vagrantfile más o menos así:

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|

  config.vm.box = "debian/jessie64"

  #Force sys.stdout.encoding to utf8
  ENV['PYTHONIOENCODING'] = "utf-8"

  config.vm.provision "ansible" do |ansible|
      ansible.verbose = "v"
      ansible.playbook = "ansible/playbook.yml"
  end

end

Evidentemente esto es un fichero muy sencillo, lo importante es declarar la variable de entorno

 

  ENV['PYTHONIOENCODING'] = "utf-8"

Este fallo está documentado en una issue de github https://github.com/ansible/ansible/issues/8644 aunque su resolución está prevista en una versión ‘mayor’ con lo que supongo que estará corregido en la rama 1.8.x mientras que en Debian stable estamos en la versión 1.7.2 a diciembre de 2015. Otra alternativa sería crear un virtual environment de python e instalar la versión que queramos, no lo he probado pero seguro que es posible.

 

 

h4ckademy: Nueve semanas para mejorar como programador y como persona

H4ckademy es una experiencia de nueve semanas en las que se mejoran las habilidades como desarrollador. Es una experiencia autoguiada, esto quiere decir que tú mismo te marcas tus objetivos, tus metas, el ritmo y el camino, siempre acompañado de Israel Gutierrez @gootyfer que se encarga de guiar, orientar y proveer del conocimiento que se demanda, y Monitca Quitana @moquintana en la parte de softkills.

Para mí ha supuesto un antes y un después en cuanto a mi visión como desarrollador, mi carrera profesional y mi vida personal. He tenido la suerte de compartir dos meses con gente maravillosa ( #creepy_coconuts ) y conocer a gente increible, tanto mentores ( Sergio, Enrique, Alex, Rubén, Javi…) como gente de otras ediciones, gente del Campus Madrid, meetups, etc…

Muchas gracias a Israel y a Mónica por arriesgarse y dar vida a h4ckademy, nuevos caminos que son el futuro.

Aquí os dejo un pequeño diario de lo que han sido mis nueve semanas, algunas cosas se me han pasado por alto y otras son notas personales sólo comprensibles para mí, pero creo que da idea, de qué es lo que han sido estos dos meses.

semana 1

primer dia

  • presentación
  • dinámicas de grupo sin hablar: colocarse en fila según gustos
  • speeddating personal
  • preparar pitch personal
  • presentación de proyectos
  • presentación personal

segundo dia

  • elegir proyecto: piston
  • conociendo slack
  • calendario compartido ( siempre estuvo ahí y nunca lo usé, imprescindible )
  • autodocumentarse para proyecto
  • conocer charles proxy
  • videos de scrapping bancario de Javier Cuevas @javier_dev https://vimeo.com/120834134

tercer dia:

  • entrevista con Jose de traity
  • seguir investigando en el proyecto
  • boceto js de peticiones a youtube
  • zap owasp como alternativa a charles

cuarto dia:

  • autobusqueda de info
  • qué es ember.js con @serabe
  • scrapping bancario
  • scraping con node

quinto dia :

  • revision de código

 

semana 2

dia1:

  • cambio de grupo a Autoconstrucción
  • revisión de trabajo
  • planificación de objetivos de la semana
  • instalacion de entorno virutal de python
  • mi primera pagina con flask
  • solucionar problemas con csrf
  • almacenar contenido en cookies
  • integrar con bootstrap
  • commits siempre en ingles

dia 2:

  • plantillas con jinja

dia 3 :

  • visita de Salva de la Puente ( @salvadelapuente ) para orientarnos sobre el proyecto
  • soft skills con Mónica. visión de los trabajos del futuro y eneagrama

dia 4:

  • como plantearse reunión de ux de un proyectos
  • reunión con el cliente ( Sergio )
  • editar registros con alchemy
  • vim a tope, comenzando mi vimrc desde cero ( https://github.com/jsenin/vimrc )

dia 5

  • mejorar flujos con git y pull request
  • crear ramas para hacer el pull request
  • jenkis para verificar la integridad
  • usar git amend para unir cambios a un commit
  • charla seo de Carlos

semana 3

dia1

  • revisión de proyectos, objetivos semanales
  • esquema de modelo de datos
  • escribir historias de usuario
  • http://jmbeas.es/category/User-Story-Kata/
  • http://www.genbetadev.com/metodologias-de-programacion/historias-de-usuario-una-forma-natural-de-analisis-funcional
  • http://www.javiergarzas.com/2012/05/descomponer-historias-de-usuario-en-tareas-2.html
  • http://icane.github.io/desarrollo-agil-sw/
  • introducción a microenconomia con Jesús

dia 2:

  • testing con unittest en modelo de datos (python)
  • testear solo el negocio: modelo
  • como funcionan los self.assertRaises( Excepcion, callback )
  • no es lo mismo poner en callback my_function que my_function(), ya que la segunda se ejecuta, pero la primera es solo el nombre del callback a ejecutar y eso nos ha dado dolores de cabeza
  • si tienes un if en un test, huele a caca, y si tienes dos más
  • tener un assert con cadenas de texto no está bien pero es un mal mejorable
  • vagrant como gestor de instalaciones y despliegues. wow
  • imagenes de debian en vagrant :
    • https://atlas.hashicorp.com/debian/boxes/jessie64 las imagenes están aqui
    • puedes lanzar un nuevo vagran con debian 8 :
      • vagrant init debian/jessie64
      • vagrant up
    • ha sido necesario configurar la red para poder acceder a la maquina
      • config.vm.network :private_network, ip: “192.168.33.10”
    • vagrant provision para provisionar con ansible o con el provisionador configurado. Ansible galaxy mola
  • ansible es fácil solo hay que ver las funcionalidades de cada paquete y dedicarle un ratito

 

dia 3 :

  • Mi charla de servidores que petan ( http://slides.com/jsenin/deck)
  • charla de openshift
  • charla js. cosas raras que hace js con Santiago
  • kata factorial, aprender a montar un proyecto con nvenv desde 0 y primeros tests con java

dia 4 :

  • reforma, missing toda la mañana
  • charla de intefaces en la comida con Alex Guerrero
  • maquetar con vim… también se puede usar el ratón pero eso no se dice 😀
  • reunión con Inviable
  • panel de doker, mola pero es ahora cuando están saliendo cosas que solucionan grandes problemas.

dia 5:

  • compeljidad ciclomática. número de caminos posibles https://es.wikipedia.org/wiki/Complejidad_ciclom%C3%A1tica
  • los test, lo primero es un test que funcione todo en set de datos validos
  • Charla James de tipografías
  • tipografia: Header serifa y san serif de texto, hay un contraste elegante
  • tipografia: buenas fuentes y libres: roboto y monserrat. Bajarse monserrat por que de google no están completas, falta ultraligth
  • crear contraste con peso de la fuente, siempre menos peso para tipografia más grande, así crea un balance de peso similar, más adecuado.
  • mejores fuentes roboto, y monserrat
  • htmlcolorcodes.com
  • Charla Isra de git y testing
  • git workspaces:
  • git workspace -> mi directorio
  • git init -> todo lo que he puesto con git add que va a formar parte del commit
  • git local repositoroy -> lo comiteado
  • git status -> diferencia entre workspace <-> index <-> local
  • git upstream -> flujo principal, ‘oficial’
  • git pull -> git fetch + git merge
  • git flow: rama master y rama develop
  • testing automaticos. codigo que comprueba que el codigo de produccion hace lo que tiene que hacer.
  • test, siempre el caso positivo primero.
  • test unitarios: con una unidad de trabajo compruebas una unica asumpcion. una funcion puede tener muchos tests.
  • test integracion: integran partes de sistema de extro a extremo
  • test de aceptacion: tests entendibles por el cliente, BDD
  • partes del test:
    • preparar el entorno
    • actuacion -> ejecutar l oque sea
    • asercion -> comprobar el resultado
  • testunitarios deben ser automatizados, no necesitan intervención.
  • deben ser repetibles, se debe de poder obtener los mismos resultados para los mismos casos.
  • faciles de implementar
  • se mantenien para uso futuro: documentacoin
  • rápidos: no tocan sistemas externos
  • FIRST : FAst, Isolate, Repetable, Self verifiyng Timely
  • Dobles de Prueba: Ver charla de xavi
  • Ciclo de test BDD ( aceptacion ) -> se divide en muchos TDD (unitarios ). El de aceptacion acretida de forma entendible que lo que se ha pedido funciona.
  • TDD : Primero los tests y luego el codigo
  • comenzar por el paso más simple
  • hacer pasos pequeños
  • cuando hay olores ‘duplicacion’, etc… refactoriza
  • definir un test unitario en el código: Dado… preparado, Cuando… actuacion, entonces… asercion

Semana 4

dia 1

fiesta

dia 2

  • expresiones regulares en python son asi r’^[69]\d{8}’  con r + ‘regex’
  • git rebase para reajustar la base de tu branch, no me queda muy claro  https://git-scm.com/book/es/v1/Ramificaciones-en-Git-Reorganizando-el-trabajo-realizado
  • https://www.atlassian.com/git/tutorials/comparing-workflows/gitflow-workflow
  • con wtf form.pupulate_obj(model) -> rellena el modelo con los datos del formulario
  • jinja apesta bastante

dia 3

  • NOSQL sobre Postgres http://www.postgresql.org/docs/9.1/static/hstore.html
  • leer sobre git rebase y ff fastfoward, reescribir la historia con git
  • visita a la obra de la Escuela Superior de Diseño + Inviable, conocimos a Santiago Cirugeda
  • cosas de la casa todo el día

dia 4

  • borrar una rama remota : git push origin –delete
  • pincho de networking de campus
  • visita a Idealista, los creadores de mundos
  • Idealista, la importacia de compartir conocimiento en la plantilla
  • Idealista, no tener ni idea de lo que hablan tus compañeros también es bueno, mentoring cruzado
  • Idealista, tienen vmware y oracle java, se mueven hacia hadoop,microservicios, etc…
  • hay que tener vida después de programar

dia 5

  • restrospectiva y code review
  • usar node, requiere usar la idea programacion functional, asincrona, etc… cambio de chip
  • mongodb en produccion son 3 servidores 🙁
  • travis esta bien para proyectos opensource 😀
  • alternativa es gitlab y gitlabs-ci https://about.gitlab.com/gitlab-ci/
  • reunión de MVP de autoconsturcción

 

dia 6: codretreat

  • Conocimos a la gente de OSOCO ( osoco.es )
  • test de genéricos a concretos
  • código de concreto a genérico
  • https://en.wikipedia.org/wiki/Transformation_Priority_Premise transformation premise
  • centrarse en las reglas de negocio para escribir tests, no escribir a lo loco
  • minimo cambio posible para que funcione
  • test -> verde -> refactor -> test rojo
  • Debates filosóficos acerca del craftmanship

Semana 5

dia 1:

  • como solucionar problemas con git

dia 2

  • seguir arreglando cosas con git
  • test dobles con Xavi Gost
  • mocks y spys son el mal, si hay que usar un mock… hay algo chungo
  • usar mac es de loosers by Xavi

dia 3

  • kata mars rovers, patron command
  • git reset no ha funcionado bien para eliminar fichero :W, como borrarlo de la historia, localizar y borrar
  • https://github.com/dylang/grunt-notify para enlazar con jasmine
  • speed vs velocity . Speed es numeral velocity no .
  • copiar y pegar , pasar tests y borrar lineas de codigo
  • switch -> smell -> refactor stateobject o functionmap ( direccionario de indices -> funcion )
  • la implementacion de la parte publica de un objeto tiene que leerse como pseudocodigo
  • el objetivo de la kata es ejercitar, no completar el problema
  • https://www.youtube.com/watch?v=saNHzjHwbsc
  • http://juandavidvega.es/2015/04/14/calistenia-de-objetos-object-calisthenics/ calistenia

dia 4

  • devdocs. Documentacion selectiva online y descargable http://devdocs.io/
  • documentacion de ruby http://ruby-doc.org/core-2.2.0/Array.html
  • aprende rails en pocos pasos http://curriculum.railsbridge.org/intro-to-rails/ruby_language
  • borrar fichero de git con :w -> git rm ‘\:w’
  • lista todos los ficheros de tu repo y branches
  • for branch in `git for-each-ref --format="%(refname)" refs/heads`; do
      echo $branch :; git ls-tree -r --name-only $branch | grep 'w'
    donesheb
  • presentacion personal. Hablar a la gente en estructura de cuento con Materia Prima
  • identificar una idea fuerte principal (propuesta de valor). p ej. Hackademy es la mejor escuela de desarrolladores de madrid
  • git merge con dry : git merge –no-commit –no-ff master
  • ordenar la idea : cosas buenas que tiene, logros ,
  • hablar de objetivos, logros, futuro
  • resumen: qué es, el sentir y los objetivos
  • como organizar tu speech: Idea del yo profesional. se basa en idea principal -> ideas secundaria -> ideas de apoyo -> volver a la idea principal( llamada a la accion ) que espero que tu hagas
  • Idea -> desarollo -> conclusion -> con llamada a la acción
  • importante saber qué quieres decir con tu mensaje. Hay que informar de algo siempre en positivo

dia 5

  • bash reference https://www.gnu.org/software/bash/manual/bash.html#Redirections
  • programando en bash http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html

 

SEMANA 6

dia 1

  • rebase para modificar cosas que han sucedido en un commit ya pasado aunque esté pusehado
2017  git rebase -i 20ad008
2018  git status
2020  vim server_app/autoconstruccion/web/views.py 
2021  ./test.sh 
2022  git status
2023  git add  server_app/autoconstruccion/web/views.py 
2024  git status
2025  git commit --amend 
2026  git rebase --continue
2027  git status
2028  git push origin calendar_popup --force

 

dia 2

  • nada destacable que contar
  • problemas con flask para validar un campo único
  • dinámicas de git para gestionar el proyecto

dia 3

  • Javi Aguirre con DDD ( https://github.com/javaguirre/h4ckademy-workshop )
  • http://javaguirre.github.io/h4ckademy-workshop/presentation/
  • Arquitectura EDA -> Event Driven Architecture
  • Tiempo real, debe consumirse lo más rápido real
  • Evento no debe depender de nada exterior -> objetos desacoplados
  • Arquitectura SOA -> Service Oriented Architecture
  • Encapsula funcionalidad
  • ansible-galaxy install -r requirements.txt
  • si quieres migrar de sistema de base de datos, pej mete varios listeners de mensajes postres y mysql y luego puedes tirar uno de estos y seguirá funcionando uno de los dos
  • go es un truño
  • nameko para microservicios , implementa colas y rpc por debajo de forma cómoda
  • todo tiende a microservicios
  • meter eventos en le controller
  • meter una capa adicional que absorva la capa de orm y de persistencia, y que además gestione los errores
  • http://vim.wikia.com/wiki/VimTip191
  • http://nvie.com/posts/how-i-boosted-my-vim/

dia 4

  • demo day
  • apretar el culo para que todo quede bonito

 

Semana 7

dia 1

  • petao post-codemotion
  • configurando rhc para desplegar aplicacion python en openshift. Hay que usar el env y hacer un restart de la app para que pille los cambios de la variable de entorno. No vale con configurar los action_hooks ni solo hacer el rhc env, sino que hay que hacer un rhc app-restart -n appname

dia 2

  • liado con el despliegue de madrid decide
  • ansible : templates para plantillas, files para scripts y vars para variables
  • copy en ansible copia ficheros de host a remote
  • charla de @serabe: lo que la cafeina le hizo a js, hablando de destructuring, y arrow functions
  • Jesús me ha enseñado las innecesidad de los puntos y comas en js, solo es necesario cuando la linea comienza en () o []
  • Con Agustín le doy los últimos toques a los scripts de postresql

dia 3

  • Terminado el projecto de madrid decide vagrant
  • http://vimawesome.com/
  • copiar al portapapeles del sistema : vmap “+y
  • flywire. @Rubocoptero, flujos de trabajo en su curro, muy interesante
  • javascript project de abonotransportes , probando jasmine con node, intentando hacer abstracción correctamente con Carlos, Jesus y Said, los tres enseñándome a programar con node.js

dia 4

  • nodejs y express
  • consejos de Alex Guerrero para programar con node
  • app pequeña no dividir hasta que no haga falta, todo en un repo
  • nvm para gestionar versiones de node
    curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.29.0/install.sh | bash
    nvm install 4.4.2
    nvm use 4.2.2

     

  • eslint : linter para js
  • user editorconfig en el ide
  • planificar la noche electoral con emoti y twitter
  • lo de los platanos ! con maki maki
  • apuntada presentacion de mongo de Isra http://www.slideshare.net/gootyfer/full-metal-mongo
  • Mientras tanto en la CAS … https://github.com/penguinjournals/ansible-101

dia 5

  • callbacks y más callbacks
  • standard como linter y formater de js
  • preparando la app de emoti para el debate
  • Preprando tests con jasmine, setup() de jasmmine con llamadas asyncronas y done()
  • el fs.readFile no funciona bien y hay que usar fs.reaFileSync

Semana 8

dia 1

  • Preparar proyecto para produccion,
  • mongo necesita indices para ejecutarse rápido
  • { [MongoError: too much data for sort() with no index.  add an index or specify a smaller limit]
  • use debate
    db.images.createIndex( { date: 1 } )

     

  • reparar bases de datos en mongo
    db.repairDatabase()

     

  • borrar collección de datos
    db.images.remove()
  • mongo se queda sin espacio y peta. Entender como gestiona mongo el espacio http://blog.mongolab.com/2014/01/how-big-is-your-mongodb/
  • proyecto emoticritico, un éxistazo y muy divertido

Dia 2

  • fiesta

Dia 3

  • Objetivos para fin de proyecto
  • Patrón repository con Said
  • Preparar máquina Vagrant con anaconda para taller de MachineLearning con Alvaro
  • preparar TarjetaTransportePublico Api de cero, con nvm, npm, y express
  • express generator te crea un proyecto api de cero en segundos.
  • crear modelos con mongo https://scotch.io/tutorials/using-mongoosejs-in-node-js-and-mongodb-applications
  • intentar arreglar los problemas de sync con virtualbox de alvaro y carlos se ha solucionado con esto https://github.com/mitchellh/vagrant/issues/3341
  • reordenando código js para el proyecto de Transportes de Madrid, separar proyecto express en controllers, models y hacer correctamente los exports.
  • buscando documentacion de como hacer test de rutas en js http://thejsguy.com/2015/01/12/jasmine-vs-mocha-chai-and-sinon.html
  • Mocha y supertest parece una buena opcion https://github.com/visionmedia/supertest , pero mocha es incompleto y depende de otras librerías/módulos para hacer BDD, jasmine lo trae casi todo y hay un jasmine-ajax para capturar peticiones ajax.

Dia 4

  • Aprendiendo sobre el patron repository y datamapper, abstraer la capa de acceso a datos , referencias
    • https://blog.8thlight.com/mike-ebert/2013/03/23/the-repository-pattern.html
    • http://mikeebert.tumblr.com/post/28530463266/the-repository-pattern-hooking-up-a-database
    • http://geekswithblogs.net/gyoung/archive/2006/05/03/77171.aspx
    • https://github.com/iainjmitchell/mongorepositiory
    • http://www.bradoncode.com/blog/2013/08/repository-vs-domain-model-vs-data.html
  • Visita a medialab Prado para el codingday de la app de consul
  • SoftSkils, emoticritico
  • H4cking Madrid ( Carlos :* )

Dia 5

  • revisar objetivos de proyecto, cosas sencillas y concretas
  • introducción a machine learning con David Vico

 

Semana 9

dia 1

  • mailnotifier para autoconstruccion

dia 2

  • mailnotifier para autoconstruccion
  • marca personal con Mónica:
    • estrategia: identificar el foco de la información y los demás medios para amplificar el mensaje
    • enlaces a todas las redes sociales desde la pagina principal ( nucleo )
    • Elegir ejes de contenidos, para publicar en los medios
    • ejercicio, centro de contenido de perfil profesional y lineas de contenido
    • titular profesional, importante. distintas denomianciones de la profesión actual. Usar palabras clave del serctor, utiliza todo el espacio. no usar palabradas demasiadas genericas.
    • extracto profesional, primera persona: Expresa quien eresy lo que quiers, utiliza las palabras del titular, sé tu mismo, utiliza todo el espacio disponible, mejor en primera persona. no dejar el espacio vacío. Debe responder a quien soy y qué quiero en este momento.

dia 3

  • revisión de proyecto
  • revisar pull requests
  • # listado de ficheros de un branch
    git ls-tree -r $branch_name
    

     

  • principios SOLID Y RASCA ( RCC ASS) http://www.butunclebob.com/ArticleS.UncleBob.PrinciplesOfOod
  • alembic como gestor de migraciones de modelo de datos
  • login-manager para flask

dia 4

  • cerrando pull requests
  • Como solucionar los conflictos de tu pull request cuando hay codigo aprobado que genera conflictos con el tuyo
  • # Si hay conflictos en tu pull request  
    # This branch has conflicts that must be resolved
    git pull --rebase upstream master
    #hacer un git add de las modificciones, sin commit
    git rebase --continue
    git push origin send_mail --force

     

dia 5

  • Cerrando bugs y subiendo mejoras hasta antes de la demo
  • demo final de cierre de h4ckademy
  • fiesta karaoke ! 😀