トークン
正式名称
Token（トークン）
一言でいうと
プログラムを構成する意味のある部品
初心者向け説明
トークンとは、字句解析によってソースコードから切り出される意味のある単位です。
例えば、
if (age >= 20)
というコードなら、
if
(
age
>=
20
)
などに分けられます。
それぞれは、
if → キーワード
age → 識別子
>= → 演算子
20 → 数値
といった種類に分類できます。
構文解析では、このトークンの並び方や構造が文法に従っているかを調べます。
ポイント
- 字句解析によって切り出される
- キーワード・識別子・演算子・数値などがある
- 構文解析ではトークン列を解析する
関連用語
関連記事
- 形式言語とは？正規表現・字句解析・構文解析を基礎から理解しよう
🍯 はちみつメモ
トークン = ソースコードを構成する意味のある部品