Klasse Prism::Translation::Parser
Diese Klasse ist der Einstiegspunkt für die Konvertierung eines Prism-Syntaxbaums in den Syntaxbaum des Gems whitequark/parser. Sie erbt vom Basis-Parser für das Parser-Gem und überschreibt die parse*-Methoden, um mit Prism zu parsen und dann zu übersetzen.
Beachten Sie, dass diese Version des Parsers immer die neueste von Prism unterstützte Ruby-Syntax verwendet. Wenn Sie Unterstützung für eine bestimmte Version wünschen, verwenden Sie eine der versionsspezifischen Unterklassen, z. B. Prism::Translation::Parser34. Wenn Sie die Ruby-Syntaxversion des aktuell laufenden Ruby-Interpreters verwenden möchten, nutzen Sie Prism::Translation::ParserCurrent.
Öffentliche Klassenmethoden
Source
# File lib/prism/translation/parser.rb, line 74 def initialize(builder = Prism::Translation::Parser::Builder.new, parser: Prism) if !builder.is_a?(Prism::Translation::Parser::Builder) warn(<<~MSG, uplevel: 1, category: :deprecated) [deprecation]: The builder passed to `Prism::Translation::Parser.new` is not a \ `Prism::Translation::Parser::Builder` subclass. This will raise in the next major version. MSG end @parser = parser super(builder) end
Das Argument builder wird standardmäßig verwendet, um den Parser mit unserer benutzerdefinierten Builder-Klasse zu erstellen.
Durch die Verwendung des Schlüsselwortarguments :parser können Sie mit einem beliebigen Parser auf eine Weise übersetzen, die mit dem Parser-Gem kompatibel ist.
Zum Beispiel kann in RuboCop für Ruby LSP der folgende Ansatz verwendet werden, um die Leistung durch Wiederverwendung eines vorab analysierten Prism::ParseLexResult zu verbessern.
class PrismPreparsed def initialize(prism_result) @prism_result = prism_result end
def parse_lex(source, **options) @prism_result end
end
prism_preparsed = PrismPreparsed.new(prism_result)
Prism::Translation::Ruby34.new(builder, parser: prism_preparsed)
In einem Objekt, das dem Schlüsselwortargument :parser übergeben wird, sollten die Methoden parse und parse_lex nach Bedarf implementiert werden.
Öffentliche Instanzmethoden
Source
# File lib/prism/translation/parser.rb, line 91 def default_encoding Encoding::UTF_8 end
Die Standardkodierung für Ruby-Dateien ist UTF-8.
Source
# File lib/prism/translation/parser.rb, line 99 def parse(source_buffer) @source_buffer = source_buffer source = source_buffer.source offset_cache = build_offset_cache(source) result = unwrap(@parser.parse(source, **prism_options), offset_cache) build_ast(result.value, offset_cache) ensure @source_buffer = nil end
Analysiert einen Quellpuffer und gibt den AST zurück.
Source
# File lib/prism/translation/parser.rb, line 112 def parse_with_comments(source_buffer) @source_buffer = source_buffer source = source_buffer.source offset_cache = build_offset_cache(source) result = unwrap(@parser.parse(source, **prism_options), offset_cache) [ build_ast(result.value, offset_cache), build_comments(result.comments, offset_cache) ] ensure @source_buffer = nil end
Analysiert einen Quellpuffer und gibt den AST sowie die Quellcode-Kommentare zurück.
Source
# File lib/prism/translation/parser.rb, line 129 def tokenize(source_buffer, recover = false) @source_buffer = source_buffer source = source_buffer.source offset_cache = build_offset_cache(source) result = begin unwrap(@parser.parse_lex(source, **prism_options), offset_cache) rescue ::Parser::SyntaxError raise if !recover end program, tokens = result.value ast = build_ast(program, offset_cache) if result.success? [ ast, build_comments(result.comments, offset_cache), build_tokens(tokens, offset_cache) ] ensure @source_buffer = nil end
Analysiert einen Quellpuffer und gibt den AST, die Quellcode-Kommentare und die vom Lexer ausgegebenen Tokens zurück.
Source
# File lib/prism/translation/parser.rb, line 155 def try_declare_numparam(node) node.children[0].match?(/\A_[1-9]\z/) end
Da Prism die Num-Parameter für uns auflöst, müssen wir diese Art von Logik hier nicht unterstützen.
Private Instanzmethoden
Source
# File lib/prism/translation/parser.rb, line 313 def build_ast(program, offset_cache) program.accept(Compiler.new(self, offset_cache)) end
Erstellt den AST des Parser-Gems aus dem Prism-AST.
Source
# File lib/prism/translation/parser.rb, line 318 def build_comments(comments, offset_cache) comments.map do |comment| ::Parser::Source::Comment.new(build_range(comment.location, offset_cache)) end end
Erstellt die Kommentare des Parser-Gems aus den Prism-Kommentaren.
Source
# File lib/prism/translation/parser.rb, line 296 def build_offset_cache(source) if source.bytesize == source.length -> (offset) { offset } else offset_cache = [] offset = 0 source.each_char do |char| char.bytesize.times { offset_cache << offset } offset += 1 end offset_cache << offset end end
Prism arbeitet mit Offsets in Bytes, während das Parser-Gem mit Offsets in Zeichen arbeitet. Wir müssen diese Konvertierung handhaben, um den AST des Parser-Gems zu erstellen.
Wenn die Bytegröße der Quelle mit der Länge übereinstimmt, können wir den Offset direkt verwenden. Andernfalls erstellen wir ein Array, bei dem der Index der Byte-Offset und der Wert der Zeichen-Offset ist.
Source
# File lib/prism/translation/parser.rb, line 330 def build_range(location, offset_cache) ::Parser::Source::Range.new( source_buffer, offset_cache[location.start_offset], offset_cache[location.end_offset] ) end
Erstellt einen Bereich aus einer Prism-Position.
Source
# File lib/prism/translation/parser.rb, line 325 def build_tokens(tokens, offset_cache) Lexer.new(source_buffer, tokens, offset_cache).to_a end
Erstellt die Tokens des Parser-Gems aus den Prism-Tokens.
Source
# File lib/prism/translation/parser.rb, line 353 def convert_for_prism(version) case version when 33 "3.3.1" when 34 "3.4.0" when 35, 40 "4.0.0" when 41 "4.1.0" else "latest" end end
Source
# File lib/prism/translation/parser.rb, line 174 def error_diagnostic(error, offset_cache) location = error.location diagnostic_location = build_range(location, offset_cache) case error.type when :argument_block_multi Diagnostic.new(:error, :block_and_blockarg, {}, diagnostic_location, []) when :argument_formal_constant Diagnostic.new(:error, :argument_const, {}, diagnostic_location, []) when :argument_formal_class Diagnostic.new(:error, :argument_cvar, {}, diagnostic_location, []) when :argument_formal_global Diagnostic.new(:error, :argument_gvar, {}, diagnostic_location, []) when :argument_formal_ivar Diagnostic.new(:error, :argument_ivar, {}, diagnostic_location, []) when :argument_no_forwarding_amp Diagnostic.new(:error, :no_anonymous_blockarg, {}, diagnostic_location, []) when :argument_no_forwarding_star Diagnostic.new(:error, :no_anonymous_restarg, {}, diagnostic_location, []) when :argument_no_forwarding_star_star Diagnostic.new(:error, :no_anonymous_kwrestarg, {}, diagnostic_location, []) when :begin_lonely_else location = location.copy(length: 4) diagnostic_location = build_range(location, offset_cache) Diagnostic.new(:error, :useless_else, {}, diagnostic_location, []) when :class_name, :module_name Diagnostic.new(:error, :module_name_const, {}, diagnostic_location, []) when :class_in_method Diagnostic.new(:error, :class_in_def, {}, diagnostic_location, []) when :def_endless_setter Diagnostic.new(:error, :endless_setter, {}, diagnostic_location, []) when :embdoc_term Diagnostic.new(:error, :embedded_document, {}, diagnostic_location, []) when :incomplete_variable_class, :incomplete_variable_class_3_3 location = location.copy(length: location.length + 1) diagnostic_location = build_range(location, offset_cache) Diagnostic.new(:error, :cvar_name, { name: location.slice }, diagnostic_location, []) when :incomplete_variable_instance, :incomplete_variable_instance_3_3 location = location.copy(length: location.length + 1) diagnostic_location = build_range(location, offset_cache) Diagnostic.new(:error, :ivar_name, { name: location.slice }, diagnostic_location, []) when :invalid_variable_global, :invalid_variable_global_3_3 Diagnostic.new(:error, :gvar_name, { name: location.slice }, diagnostic_location, []) when :module_in_method Diagnostic.new(:error, :module_in_def, {}, diagnostic_location, []) when :numbered_parameter_ordinary Diagnostic.new(:error, :ordinary_param_defined, {}, diagnostic_location, []) when :numbered_parameter_outer_scope Diagnostic.new(:error, :numparam_used_in_outer_scope, {}, diagnostic_location, []) when :parameter_circular Diagnostic.new(:error, :circular_argument_reference, { var_name: location.slice }, diagnostic_location, []) when :parameter_name_repeat Diagnostic.new(:error, :duplicate_argument, {}, diagnostic_location, []) when :parameter_numbered_reserved Diagnostic.new(:error, :reserved_for_numparam, { name: location.slice }, diagnostic_location, []) when :regexp_unknown_options Diagnostic.new(:error, :regexp_options, { options: location.slice[1..] }, diagnostic_location, []) when :singleton_for_literals Diagnostic.new(:error, :singleton_literal, {}, diagnostic_location, []) when :string_literal_eof Diagnostic.new(:error, :string_eof, {}, diagnostic_location, []) when :unexpected_token_ignore Diagnostic.new(:error, :unexpected_token, { token: location.slice }, diagnostic_location, []) when :write_target_in_method Diagnostic.new(:error, :dynamic_const, {}, diagnostic_location, []) else PrismDiagnostic.new(error.message, :error, error.type, diagnostic_location) end end
Erstellt eine Diagnose aus dem gegebenen Prism-Parse-Fehler.
Source
# File lib/prism/translation/parser.rb, line 339 def prism_options options = { filepath: @source_buffer.name, version: convert_for_prism(version), partial_script: true, } # The parser gem always encodes to UTF-8, unless it is binary. # https://github.com/whitequark/parser/blob/v3.3.6.0/lib/parser/source/buffer.rb#L80-L107 options[:encoding] = false if @source_buffer.source.encoding != Encoding::BINARY options end
Optionen für die Art und Weise, wie Prism die Quelle parsen/lexen soll.
Source
# File lib/prism/translation/parser.rb, line 274 def unwrap(result, offset_cache) result.errors.each do |error| next unless valid_error?(error) diagnostics.process(error_diagnostic(error, offset_cache)) end result.warnings.each do |warning| next unless valid_warning?(warning) diagnostic = warning_diagnostic(warning, offset_cache) diagnostics.process(diagnostic) if diagnostic end result end
Wenn während des Parsens ein Fehler aufgetreten ist, wird eine entsprechende Syntaxfehlermeldung ausgelöst. Andernfalls wird das Ergebnis zurückgegeben.
Source
# File lib/prism/translation/parser.rb, line 163 def valid_error?(error) true end
Dies ist ein Hook, der es Verbrauchern ermöglicht, einige Fehler zu deaktivieren, wenn sie nicht möchten, dass diese die Erstellung des Syntaxbaums blockieren.
Source
# File lib/prism/translation/parser.rb, line 169 def valid_warning?(warning) true end
Dies ist ein Hook, der es Verbrauchern ermöglicht, einige Warnungen zu deaktivieren, wenn sie nicht möchten, dass diese die Erstellung des Syntaxbaums blockieren.
Source
# File lib/prism/translation/parser.rb, line 247 def warning_diagnostic(warning, offset_cache) diagnostic_location = build_range(warning.location, offset_cache) case warning.type when :ambiguous_first_argument_plus Diagnostic.new(:warning, :ambiguous_prefix, { prefix: "+" }, diagnostic_location, []) when :ambiguous_first_argument_minus Diagnostic.new(:warning, :ambiguous_prefix, { prefix: "-" }, diagnostic_location, []) when :ambiguous_prefix_ampersand Diagnostic.new(:warning, :ambiguous_prefix, { prefix: "&" }, diagnostic_location, []) when :ambiguous_prefix_star Diagnostic.new(:warning, :ambiguous_prefix, { prefix: "*" }, diagnostic_location, []) when :ambiguous_prefix_star_star Diagnostic.new(:warning, :ambiguous_prefix, { prefix: "**" }, diagnostic_location, []) when :ambiguous_slash Diagnostic.new(:warning, :ambiguous_regexp, {}, diagnostic_location, []) when :dot_dot_dot_eol Diagnostic.new(:warning, :triple_dot_at_eol, {}, diagnostic_location, []) when :duplicated_hash_key # skip, parser does this on its own else PrismDiagnostic.new(warning.message, :warning, warning.type, diagnostic_location) end end
Erstellt eine Diagnose aus der gegebenen Prism-Parse-Warnung.