idéia!

Vou ter que dar uma pausa para estudar para circuitos mas tive uma ideia boa para consertar o problema quando o twitter fica sobrecarregado.

Nao temos como tratar como excecao pq nao é um erro, o scroller continua tentando descer a página mas o que acontece é que não desce mais pois chegou no limite, ja que aparece a mensagem de sobrecarregado.


2 opcoes

1ª opcao - ler a barra final e se aparecer a mensagem X (ex: "twitter sobrecarregadi) em ingles ou port, dependendo do driver, retornar

2ª opcao - a cada leitura colocar os tweets todos em um vetor e se a usuario,msg e a hr do ultimo forem iguais a usuario,msg e hr do anterior -> retorna

PROBLEMA:

O problema é que não temos como retornar desse certo ponto. Tenho que pesquisar se o twitter tem algum tipo de pesquisar por hora, o que tb resolveria o utlimo problema comentado ( da pesquisa até as 17:00)

problemas com hora dia na advanced search do twitter

Quando pesquisamos, por exemplo, tweets com uma determinada hashtag até o dia 24 de abril de 2014, ele nos retorna resultados até do dia 23 de abril de 2014 até 17:00.

Como resolver isso? Se buscarmos um dia a frente pode ser que fique muito pesado para carregar toda a url

andamento..

Melhoria do código urgente.

prox passos: metodo getPreviousDay, ciclo por dia até a data limite, gerar url modificada c data anterior

*mudar dia str -> int

método replace http://wiki.python.org.br/ManipulandoStringsComPython

inversão data e hora

Estava com um problema, só conseguia pegar a data e hora juntas através do crawler e essa vinha no formara "hora - data" o que dificultava colocar em uma ordem cronológica de tweets;

Consertado -> "data - hora" permitindo através de um group by exibir pelo dia que queremos. Podemos até separar data e hora em duas colunas distintas, caso a gente queira definir um limite de dias

data e hora ok no scrap!

Consigo capturar agora: nome- username - tweet - dataehora

Selenium web driver for python <<<<-

a função scroll down está funcionando no programa teste, agora é preciso adaptá-lo e implementar no programa crawler do twitter.

username ok

pegando o nome já;
agora falta data

#author: Maria Beatriz Vaz

import urlparse
import urllib
import codecs
from bs4 import BeautifulSoup
import psycopg2
import sys

try:
    conn = psycopg2.connect("dbname='tweet_ic' user='postgres' host='localhost' port='5432' password='8001007'")
    print "Connected to database"
except:
    print "I am unable to connect to the database"

cur=conn.cursor()

urls = ["https://twitter.com/search?q=%23marcocivil%20since%3A2014-02-03%20until%3A2014-05-23&src=typd"]
visited = [urls[0]]

while len(urls) > 0:
try:
htmltext = urllib.urlopen(urls[0]).read()
except:
print urls[0]

soup = BeautifulSoup(htmltext)
#print soup.get_text().encode("utf-8")

visited.append(urls[0])

tweets = []
names = []

i = 0
for tag in soup.findAll('div',  { "class" : "content" }) :
for tweet in tag.findAll('p', {"class" : "js-tweet-text tweet-text"}):

tweet_text = tweet.get_text().encode("utf-8")
tweets.insert(0,tweet_text)

for name in tag.findAll ('strong', {"class" : "fullname js-action-profile-name show-popup-with-id"}):
name_text = name.get_text().encode("utf-8")
names.insert(0,name_text)
i=i+1

print 'chegou'

while i>=0:
try:
print 'name: ' + names[i-1] + ' - tweet: ' + tweets[i-1]
cur.execute(""" INSERT INTO teste_old (name , tweet) VALUES  ( %(name)s, %(tweet)s )""", ({ "name" : names[i-1] , "tweet" : tweets[i-1]}))
conn.commit()

except Exception as inst:
conn.rollback()
print 'Igual'

i=i-1


print ">>>visitou: " + urls[0]
urls.pop(0)

if conn:
conn.close()