'크롤링'에 해당되는 글 5건

var casper = require("casper").create({
    }),
    utils = require('utils'),
    http = require('http'),
    fs = require('fs');

casper.start();

casper.thenOpen('http://www.yahoo.com/', function(response) {
    casper.capture('test.png');
    utils.dump(response.status);
    if (response == undefined || response.status >= 400) this.echo("failed");
});

casper.on('http.status.404', function(resource) {
  this.echo('wait, this url is 404: ' + resource.url);
});

casper.run(function() {
  casper.exit();
});

var position = pattern_str_array(text,"'>","</td>");

console.log(position);

function pattern_str_array(str,start,end){

    // 뽑을 문자의 시작 문자,뽑을 문자의 마지막, 자르고 난뒤에 문자열 변경 변수

    var str_start,str_end,text;

    // 뽑은 문자열 저장 배열

    var str_array = new Array();

    //문자열에 시작문자가 있다면 계속 반복

    while(str.indexOf(start) > -1){

        // 시작문자와 끝문자가 반복문에 있는 이유는 계속 변경된 시작문자와 끝문자의 위치를 알기위해

        // 시작 문자

        str_start = str.indexOf(start);

        // 끝문자

        str_end = str.indexOf(end);

        // 길이를 더해주는 이유는 

        // 찾는 문자열의 크기뒤부터 가져오기 위해. 끝문자까지

        text = str.substring(str_start + (start.length),str_end);

        // 가져온 문자를 배열에 저장

        str_array.push(text);

        // 문자열을 한번 가져온 패턴 뒤부터 가져올수 있도록 변경처리

        str = str.substring(str_end+1);

    }

    return str_array;

}

var result  = this.getHTML(".game-list-pn > tbody > tr > td > table > tbody > tr > td > b > font");

var result  = this.fetchText(".game-list-pn > tbody > tr > td > table > tbody > tr > td > b > font");

2개는 서로 틀리다

fetchText 는 해당 사항에 적용되는것들을 전부 가져오지만

getHTML 는 한개만 가져온다.

//모든 스텝은 해당 시간만큼 웨이팅후 종료

casper.options.waitTimeout = 20000;

//캐스퍼의 시작

casper.start();

//캐스퍼의 실행

//해당 문구는 꼭 존재해야한다.

casper.run();

//앞에 스텝의 캐스퍼를 실행 종료된후에 다음순서로 실행..

casper.then();

//새롭게 창을 오픈

 casper.thenOpen(url);

//로그인 하기

this.fill('form[name="FormLogin"]', {

 'member_id': 'testID',

 'member_pwd': 'qwer1234'

}, true);

// 주의할점

// 2번째로 실행했을때는 setInterval 때 반복되지 않고 한번만 실행된다.

casper.run();

casper.run(function() {

    casper.close();

});

//엘리먼트 존재여부 확인 exists ()

casper.start('http://foo.bar/home', function() {

    if (this.exists('#my_super_id')) {

        this.echo('found #my_super_id', 'INFO');

    } else {

        this.echo('#my_super_id not found', 'ERROR');

    }

});

// HTML 내용 가져오기

var bc_1 = this.getHTML('#bc_1');

// 텍스트 내용만 가져오기

casperjs.fetchText('td.detail_line:first');

//버튼 클릭

casper.click('input.btn_bet_a:nth-child(3)');

//화면 캡쳐

 casper.capture('test.png');

//로그인 후 쿠키 저장 및 불러오기

var cookies = JSON.stringify(phantom.cookies);

fs.write(cookie_path, cookies, 'w');

phantom.cookies = JSON.parse(fs.read(cookie_path));

// 2초간 기다리기

casper.wait(2000, function() {

                casper.click('input.btn_bet_b');

                casper.capture('sutda.png');

});

// login_list 클래스가 존재할때까지 기다리기

this.waitForSelector('.login_list', function() {

});

// 알람창이 뜰때까지 기다리기

casper.waitForAlert(function(response) { 

});

//쿠키 저장

casper.start(url,function(){

console.log("크롤링 시작");

//cookiesManager.saveCookies();

this.echo(this.evaluate(function() {

        return document.cookie;

    }));

});

//파일로 저장

    fs = require('fs');

        fs.writeFile('helloworld.txt', result, function(err) {

            if (err)

                return console.log(err);

            console.log('Hello World > helloworld.txt');

        });