« 科学では証明できない現象について | トップページ | 旅立つ前に »

Computer-assisted Text Analysis

第2言語としての英語を学習する学生のライティングを分析して、ジャンル別、習熟度別にどのような特徴があるかを明らかにしたいと思っているのだけれども、適切な方法論がよく分からず、もんもんとした毎日を過ごしてます。。。 コーパス(大量の文章を電子化してコンピューター処理できるようにしたデータベースのこと)を使って分析ができるだろうかと考えているのだけれども、語彙や文法レベルのlocal elementsではなくて、全体のロジックやディスコースといったglobal elementsを見たい場合、コーパスでそれがどこまで解明できるのでしょうか。

学習者コーパスは、ある特定の語彙の使用頻度や共時性(コロケーション)、エラーの特徴などが研究対象となる分野だと思います。 学習者の中間言語的な特徴が明らかになるので、学習者の習熟度に応じた教授法や教材開発に向けて応用が可能となり、コーパスが果たしてきた役割はとても大きいと思います。 でも、satchyが興味をもっているのは、ある語彙の使用頻度や誤答分析じゃなくて、ディスコースなのです。 たとえば、全体の論理性、一貫性、結束性、主張の明確さ、などを分析したいのです。 コンピューターさんは、これらの要素を測定することができるのでしょうか。 それとも、ディスコースレベルの問題は、やはり人間しか測定できないのでしょうか。 比較的、大規模なデータを分析したいとき、人間の力では限界があると思うのですが、もしコンピューターさんに助けてもらえないとしたら、客観的な評価をするために、どのような方法を採用すればよいのでしょうか。

たとえば、インストラクションを与える前と与えた後で、error-free T-unitがどのくらい減ったか、あるいは増えたかを分析した研究があって、結論は、「インストラクションは、error-free T-unitを減らすのに役立った」だったのだけれども、(教えてもらってんから間違いが減るのは当たり前やんって思ってしまうのはsatchyだけでしょーか) でも、間違いが減ったからって、その学習者のライティング能力が伸びたとはいえないと思うんです。 センテンス・レベルで正しく書けるようになるのは、どちらかというとライティングというよりは文法の力が伸びたのではないか、と思えるし、ライティングで大事なのは、センテンス・レベルというよりは、ディスコース・レベルではないかと思うのです。。。自分の経験からも、特に日本人の大学生が英語エッセイを書いた場合、一番大きな問題は、語彙や文法よりも、全体のロジックのような気がするのです(←日本語で書いた場合も同じく)。 だから、その問題点を、大量のデータから解明できれば素晴らしいなと思うわけです。 少人数のデータから分析することは可能ですが、一般化することが難しいし、どうしてもlimitationを認めなければいけない。 どうしたら、大量のデータから、global elementsの特徴を一般化できるでしょうか。 

うーん、かなり勉強不足ですなぁ。。。 これまで質的アプローチが主だったので、量的な方はまだまだ修行が必要です。 Computer-assisted Text Analysisについて、もっと先行研究読まないといけないですね。 

_001 と言いつつ、帰りふらふらーっと新宿に寄り道して、前からほしかったキーケースを買ってしまった。 

_007 それから、スカイプのカメラとヘッドフォンも買ってしまった。 「ロジクール QVX-13HS」を持っている人がいたので、まねをして購入。 ハワイでの孤独な研究生活で心の癒しになってくれそう。。。 でも、カメラははずかしいから使わないでおこう (ほんなら買うなー)。 スカイプやってるみなさん、satchyも仲間にいれてください。

研究して、論文書かねばならぬのに、あと1ヶ月で出発、すぐに大学院の授業が始まると思うと、何か落ち着きません。 言い訳でしょーか。

|

« 科学では証明できない現象について | トップページ | 旅立つ前に »

コメント

こんばんは。
この記事を読んで、ライティングの勉強方法とか姿勢考え方や取り組み方など若干今までのイメージと変わって聴こえる目から鱗なお話です。
ライティングというとやれ語彙だ文法だに縛られがちでそこで挫折するケースもありました。この間修了させたライティング課題付きDHCのビジネス英語通信講座で課題の作文提出して、ネイティブからの添削の意図が全く分からなかったのですが、この記事を読ませて頂いてやっと意図が少し分かった所です。

日本の会社はどこもTOEIC至上主義で本質抜きで試験対策のみ、会話も作文も中途半端になりがちですが、一歩一歩全体で英語力をつけていきたいですね、私なりの考えですが。でもTOEIC点数UPならTOEICの勉強に割り切れ!(TOEFLとかも同じですが)と言う日本人作者がとても多いです

投稿: 里やん | 2006年7月19日 (水) 22:59

私はコンピュータさんと友達なので、コンピュータさんについて分からないことがあれば聞いてくださいね。

投稿: shira | 2006年7月20日 (木) 08:25

あ、本題を書くの忘れた。

こちらの用語では自然言語処理とか言ったりしますが、ディスコースレベルの問題はコンピュータさんにはまだまだ難しいというのが一般的な見方でしょう。やってる人はコンピュータさんの友達に多くいるとは思いますが。

投稿: shira | 2006年7月20日 (木) 08:29

里やんさん
TOEICもTOEFLも本当の英語力を測っていないと思います。点数を上げるために勉強することはいいことだと思うけれど、点数を上げること自体が英語学習の「目的」にならないようにしたほうがいいと思っています。もっと上を目指すための一つの手段にすぎないと思います。


shiraさん
私もコンピュータさんとお友達になりたいと思っているのですが、そのためにはコンピュータさんについてもっと理解を深めなくてはいけないですね。
自然言語処理をやっている方というのは、理科系のバックグラウンドの方がほとんどなのでしょうか。文科系の人間でもできるようになるでしょうか。それから、ライティングの底力をつけるための教育ソフトを作りたいと思っているのですが、こういうことに興味があって力になってくれる方が理科系にはおられるでしょうか。

投稿: satchy | 2006年7月21日 (金) 00:27

コンピュータさんについて理解を深めるよりも自然言語処理の研究者とお友達になったほうがよいかもしれません。

ソフトの構築については、私でお手伝いできることがあれば、ぜひ一緒にやりましょう。

投稿: shira | 2006年7月21日 (金) 08:24

shiraさん
大変心強いおことば、感動してます。
いろいろと考えていることがあって、でも、まだ断片的で一つの形にまとまっていません。ハワイ大にいる3-4年の間に計画書をまとめてみたいと思ってます。「こんなことができればいいなー」と夢見ているレベルだったのが、shiraさんのおかげで、「もしかしたら実現するかもしれない…」と思えて、何だかワクワクしてきました。
どうぞよろしくおねがいします。

投稿: satchy | 2006年7月21日 (金) 22:50

こんにちは。興味があって、ETSのe-raterなどエッセーのコンピュータ採点がどう行われるのかをリサーチしたのですが、スコアリングのモデルを作るにあたって、Computer-assisted Text Analysisを通じて無数のエッセーと採点結果をつきあわせているようですので、computerized essay grading assessment evaluation といったキーワードで検索されると拾いものがあるのではないでしょうか。例えば、コロラド大のLandauer先生の latent semantic analysisなどヒントになるような気がします。

投稿: 日向清人 | 2006年7月29日 (土) 09:33

日向先生、
コメントをありがとうございました。ETSのe-raterについての論文をちょうど読んでいたところでした。ただ、どの論文も「どのようにdiscourse-levelの評価をしたか」というよりは、「どの程度、人間とコンピュータの評価が一致していたか(agreement rate)」という部分に焦点が当てられていて、ちょっと期待はずれでした。どれも、コンピュータが行った評価は、人間が行った評価とほぼ一致していたので、コンピュータの評価は信頼性が高いといえる、という結論でした。しかし、どのようにして評価をしたのかを詳しく述べずにこのような結論だけ述べても、読み手を納得させることはできないと思います。

Landauer先生の論文を読んでみます。教えていただいてありがとうございます。

Computational linguistics というジャーナルの中にいくつか役立ちそうなarticleを発見しました。何か新しい発見があればブログで情報発信しようと思っています。これからもどうぞよろしくお願いします。

投稿: satchy | 2006年7月30日 (日) 23:04

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: Computer-assisted Text Analysis:

« 科学では証明できない現象について | トップページ | 旅立つ前に »