タイラーと共著で新しい論文を書いている．「GPTをはじめとする大規模言語モデルで経済学を学ぶ方法・教える方法」というタイトルだ：
ChatGPT や Bing Chat などの GPT は，さまざまなタスクをこなせる，たとえば，経済学の問いに答えたり，具体的な経済モデルを解いたり，試験問題を作ったり，研究を補助したり，いろんなアイディアを生成したり，文章を補強したりといったことができる．本論文では，こうして革新的ツールがこれまでのソフトウェアとどうちがっていて，〔学生との〕やりとりの新手法がどうして必要になるのかを中心に扱う．具体的な事例・手引き・使い方のコツを提示することで，本稿では，経済学の学習と教授を効果的に行うために各種の GPT や大規模言語モデルの使い方を最適化することを目的とする．
論文の大半は，効果的な GPT の利用法の話に費やしているけれど，同時に，多くの人が見落としている重要な点もいくらか述べている：
GPT は単におしゃべりによってインターネットを利用する窓口ではない．ChatGPT など一部の GPT には，インターネットを検索する能力がない．また，Bing Chat などの GPT はインターネットを検索して質問に答える助けをできる．だが，ネット検索はその機能の土台となっているわけではない．これまで誰も尋ねたことのない問いを GPT に尋ねることができる．たとえば，「フレッド・フリントストーンはハムレットとどこが似ているか」という質問を投げかけたところ，ChatGPT は（部分的に）こう回答した：
《フレッド・フリントストーンとハムレットは，時代も文化も物語の媒体も非常に異なっています．両者を直接に比較するのは困難です．》
《しかしながら，考えうる類似点もあります．それは，どちらのキャラクターも自らの存在に関わるディレンマに直面し，自分の目的はなにであり自分はどういう人間なのかを理解するのに苦しんでいるという点です．ハムレットは，父親の殺害に復讐できるのかという疑いや人間として自分が無価値だという思いに苦しんでいます．同様に，フレッド・フリントストーンも，自分が社会で占める場や家族を養う能力，自分の期待どおりに生きることにしばしば苦闘しています．》
馬鹿げた問いのわりに悪くない回答がえられた．しかも，この回答はインターネットに見つけられない（我々が調べたかぎりでは）．
GPT は膨大なテキストを「読んだ」り「吸収した」りしているが，そのテキストはデータベースに格納されているわけではない．膨大なテキストは，ニューラルネットの数十億のパラメタに重み付けをするのに用いられたのだ．そのため，GPT を強力な一般向けのコンピュータで走らせることも可能だ．その場合，処理速度は非常に遅くなるだろう．1単語を処理するごとに必要となる計算は数十億にのぼるからだ．だが，インターネットをまるごと個人のコンピュータに保存するのとはちがって，GPT を一般向けコンピュータで走らせるのは可能であり，（ごく近いうちに）モバイル端末でも可能になるだろう．
GPT は，単語の連鎖で次にくる単語を予想することで機能する．たとえば “the Star-Spangled”（星をちりばめた…）というフレーズを耳にすれば，その後に来るのは “Banner” だと人間も GPT も予測するかもしれない〔”the Star-Spangled Banner”「星条旗」〕．GPT がやっているのはそういうことだが，しかし，GPT とは単純に「自動補完（オートコンプリート）」をやっているのだ，あるいは「自動補完の強化版」をやっているのだと結論を下すのは誤りだ．
自動補完は，それまでに尋ねられた質問にもとづいて，もっぱら統計的な推測をしている．これと対照的に，GPT は言葉の意味をいくらか理解している（「かのように」という限定をつけるのをお忘れなく）．このため，GPT は「赤」「緑」「青」がお互いに関連した概念だと理解しているし，「王」「女王」「男」が具体的に関連していて，たとえば女性は「王」になりえないというように限定されていることを理解している．また，「速い」「遅い」が関連した概念だということも理解していて，たとえば車が同時に「速く」かつ「遅く」走るのは不可能だと理解している．このため，先ほど一例を示したように，これまで一度も書かれたことがない文を GPT は「自動補完」できる．もっと一般的なことを言えば，文中で次に来る単語を予測する助けになる内部モデルを GPT は構築しているとみてよさそうに思える (e.g. Li et al. 2023)
論文は執筆中なので，コメントを歓迎する．
[Alex Tabarrok, “Teaching and Learning Economics with the AIs,” Marginal Revolution, March 18, 2023]