「タカハタ」の記事

Scrapyを使ったクローリング：pip install scrapyに失敗した時の解決方法(Twistedのインストール手順）

2019.07.11 タカハタ

pipを使ってScrapyをインストールしようとした時、下記のようなエラーが出た場合の解決方法めも。 failed with error code 1 in /…/pip-install-…j/twisted/‘…

Scrapyでメソッド間でItemsを受け渡す方法

2019.07.01 タカハタ

Environment Python 3.7 Scrapy 1.6 MacOS Mojave 10.14.4 Request.metaを使う

request = scrapy.Request("http://hogehoge.com/", self.parse_items)
request.meta['item'] = item

1 2	request = scrapy.Request("http://hogehoge.com/", self.parse_items) request.meta['item'] = item

こんな感じで…

cmderのタブバーをウィンドウ上部に切り替える方法

2019.06.26 タカハタ

結論のみ Settingsを開く。ショートカットキーは(win + alt + p) General – Tab barの順に選択ウィンドウ右側の上から４列目らへんにある”Tabs on bot…

cx_oracleで”UnicodeDecodeError: shift_jis’ codec can’t decode byte 0xef”が出た時の対処

2019.06.24 タカハタ

Winは基本触れたくもないのだけれど、客先で止むを得ず使わなければならない機会があった。その際、WindowsのPowerShellからAWS EC2上のCentOSにSSHして色々やってたら、cx_OracleでSE…

Googleスプレッドシートからメールを送る(Google Apps Script使用）

2018.07.29 タカハタ

いつかもうちょいちゃんと書く。かもしれない

function send_mail() {
  // メールに記載する内容をそれぞれ
  var data = {
    to: 'examples@exmaple.com',    // 送信先アドレス
    subject: 'Hello form GAS!',    // メール件名
    body: 'Sent from google spreadsheet via GAS!',  // 本文
    name:'GAS Bot',    // 送信者名
    noReply: true      // 返信不可（送信専用）にする
  }

  // メールを送信する
  MailApp.sendEmail(data);
}

function send_mail() {

// メールに記載する内容をそれぞれ

to: 'examples@exmaple.com', // 送信先アドレス

subject: 'Hello form GAS!', // メール件名

body: 'Sent from google spreadsheet via GAS!', // 本文

name:'GAS Bot', // 送信者名

noReply: true // 返信不可（送信専用）にする

// メールを送信する

MailApp.sendEmail(data);

sitemap.xmlからurlの一覧を取得し、対象サイトの全ページのタイトルとURLを取得する

2018.07.27 タカハタ

webページのsitemap.xmlからそのドメイン以下にあるURLの一覧を取得し、各ページをたどって情報を取得するクローラーを作ってみました。 XMLサイトマップを利用してクロールする際には、Scrapyのsitema…

ブログ作成が捗る？！サイトのタイトルとURLをまとめてコピーするbookmarklet（アドオン不要）

2018.07.11 タカハタ

ブログ書いてたりすると、「このサイトのタイトルとURLまとめてコピーしたいな〜」ってことがわりとある。（あるよね？？）そんな場合、chromeやFirefoxなら拡張機能として下記のようなツールを使えば簡単にできるっぽ…

pipでScrapyをインストールする際に[SSL: TLSV1_ALERT_PROTOCOL_VERSION]とかエラーが出た

2018.07.07 タカハタ

状況新しくScrapyのプロジェクトを作るため、以下を実行。 $ mkdir new-scrapy-prj $ cd new-scrapy-prj $ python3 -m venv myenv $ source my…

Node.jsでクロールしたページから本文のみを抽出する”readability”

2018.04.08 タカハタ

htmlから本文に当たる箇所を判別し、抽出してくれるライブラリで有名なのがこのReadabilityだが、これまでPythonで書かれたものしかないと思っていた。けど、どうしてもNode.jsでクローラーを書きたくて、…

Amazon MWS APIを利用して出品手数料を計算・取得する方法 – getMyFeesEstimateをnode.jsで叩く

2017.10.04 タカハタ

この記事では、Amazonの出品者向けのAPIであるAmazon MWS APIを使って、出品時にかかるAmazon手数料を取得する方法を紹介します。最近AmazonのMWS APIをよく使うんだけど、公式が用意してく…