reta final!

Relatório parcial: 01/07
relatorio final: 30/07 (Orientador que deve enviar para o sistema)


Chegando final do período o site vai ficar pronto possibilitando a coleta de dados de forma automática pelo cliente.

Ajustes finais

idéia!

Vou ter que dar uma pausa para estudar para circuitos mas tive uma ideia boa para consertar o problema quando o twitter fica sobrecarregado.

Nao temos como tratar como excecao pq nao é um erro, o scroller continua tentando descer a página mas o que acontece é que não desce mais pois chegou no limite, ja que aparece a mensagem de sobrecarregado.


2 opcoes

1ª opcao - ler a barra final e se aparecer a mensagem X (ex: "twitter sobrecarregadi) em ingles ou port, dependendo do driver, retornar

2ª opcao - a cada leitura colocar os tweets todos em um vetor e se a usuario,msg e a hr do ultimo forem iguais a usuario,msg e hr do anterior -> retorna

PROBLEMA:

O problema é que não temos como retornar desse certo ponto. Tenho que pesquisar se o twitter tem algum tipo de pesquisar por hora, o que tb resolveria o utlimo problema comentado ( da pesquisa até as 17:00)

problemas com hora dia na advanced search do twitter

Quando pesquisamos, por exemplo, tweets com uma determinada hashtag até o dia 24 de abril de 2014, ele nos retorna resultados até do dia 23 de abril de 2014 até 17:00.

Como resolver isso? Se buscarmos um dia a frente pode ser que fique muito pesado para carregar toda a url

andamento..

Melhoria do código urgente.

prox passos: metodo getPreviousDay, ciclo por dia até a data limite, gerar url modificada c data anterior

*mudar dia str -> int

método replace http://wiki.python.org.br/ManipulandoStringsComPython

inversão data e hora

Estava com um problema, só conseguia pegar a data e hora juntas através do crawler e essa vinha no formara "hora - data" o que dificultava colocar em uma ordem cronológica de tweets;

Consertado -> "data - hora" permitindo através de um group by exibir pelo dia que queremos. Podemos até separar data e hora em duas colunas distintas, caso a gente queira definir um limite de dias

data e hora ok no scrap!

Consigo capturar agora: nome- username - tweet - dataehora

Selenium web driver for python <<<<-

a função scroll down está funcionando no programa teste, agora é preciso adaptá-lo e implementar no programa crawler do twitter.